2025 年 32 巻 4 号 p. 1272-1298
検索拡張言語モデルの一つである kNN 言語モデルは,任意のテキストデータから構築された大規模なデータストアに推論時に直接アクセスすることで,文脈を適切に把握し,言語らしさを高精度に予測可能であることが報告されている.kNN 言語モデルは明示的な記憶であるデータストアの活用によって低頻度現象の予測性能を改善できるという仮説が提唱されてきたが,既存の検証では主に低頻度の文脈の検索性能に焦点が当てられ,低頻度語の予測性能については十分に検討されてこなかった.本研究では,kNN 言語モデルが低頻度語に対してどのように振る舞うかを,予測確率や検索精度,データストア内におけるトークンの幾何的な分布,直積量子化による近似誤差の観点から詳細に分析した.実験の結果,kNN 言語モデルは低頻度語の予測性能の改善に寄与せず,むしろ高頻度語の予測を改善することを示した.