小規模言語モデルを用いたドイツ語名詞における文法性カテゴリの情報論的合理性に関する分析

抄録

ドイツ語のすべての名詞は, 男性・女性・中性という文法性を持つが, このような文法上の体系がどのような合理性を持つのかは定かではない. 本研究は, この文法性が言語における情報量の時系列構造の平滑化に寄与している可能性を検討する. 具体的には, 本来のドイツ語データ(real)と, 性に関する情報を除去して構成された反実仮想的なドイツ語データ(mascularized)を用意し, 各々から同一構造の自己回帰型言語モデルを事前学習した. そして, 学習後のモデルによって推定された, 対応するテストデータに含まれる文内部の情報量の時系列構造を両条件間で分析・比較した. その結果, real条件は, mascularized条件と比して, 文内部における情報量の分散等が有意に小さいことが示された. この結果は, 文法性が言語における情報量の平滑化に寄与している可能性を示すものである.