土木分野における言語モデル評価指標の検討

抄録

デジタルツインにおける実空間と仮想空間の密接度を高めるインターフェースの1つとして自然言語処理技術への期待は大きく，土木分野でも実用へ向けた検討がなされている．この技術が充分に機能するためには，文脈を考慮した土木専門用語の言語モデルによる理解が必要であり，その適切な評価が求められる．しかし，既往研究はいかに土木分野へ適応させるかに焦点を当てた研究が多く，言語モデルの文章生成能力の評価には重きが置かれていない．そこで本研究では，土木分野における言語モデルの性能評価のため，評価指標の確立を目指す．その初めのステップとして新たに評価用データセットを作成し，既存指標のうちどの指標が土木分野において適切な評価が可能かを比較した．また，最後に自動評価指標を検討する上での課題について論じた．