日本語を用いたコミュニケーションにおいて，敬語を正確に使用することは他者と良好な関係を保つ上で重要である．日本語敬語は，動詞の活用などの文法的な側面と，人物間の社会的関係といった文脈的な側面の両方を持つ．そのため，敬語を正確に理解した上で使用することは，計算機システムにとって文法規則の知識と文脈情報の理解の両方が必要となる挑戦的なタスクである．大規模言語モデルは日本語のタスクでも高い性能を見せることが知られているが，それらのモデルが文脈情報に応じて柔軟に敬語の文法規則を適用する能力を評価するためのデータセットは未だ提案されていない．本研究では，文脈情報を踏まえた敬語理解タスクとして，発話文の敬語使用に関する容認性判断タスクと，敬語変換タスクの 2 つを導入する．導入タスクに合わせて，文の構造や社会的関係を制御可能なテンプレート手法を用いて新規に日本語敬語データセットを構築する．また，既存の日本語敬語コーパスからサンプリングしたデータに追加情報をアノテーションすることで，より自然な文のデータセットを用意する．実験として，2 つのデータセットを用いて，GPT-4 に代表される大規模言語モデルの敬語理解タスクにおける性能を多角的に評価する．実験の結果，より複雑な統語構造を持つ文においては，モデルの敬語変換性能に改善の余地があることが示唆された．
