言語モデルの橋梁部材の位置関係理解に関するベンチマークの開発に向けた基礎的検討

抄録

大規模言語モデルを橋梁の点検・診断に活用することを想定したベンチマークの開発が必要である．本研究では，橋梁部材間の位置関係理解に関するベンチマークの開発に向けた基礎的検討として，位置関係に対応する情報がモデルの内部表現からどの程度線形に読み出し可能であるかを定量的に評価する方法を構築した．鋼4主桁の鈑桁橋の断面を対象に，上下・左右方向の位置関係をラベル化し，構築した方法により評価した．その結果，プロンプトに位置関係を明示した条件では高い推定精度が得られた．一方，明示しない条件では推定精度が低下し，特に左右方向ではランダム予測基準を下回る結果が得られた．なお，本研究で評価した線形可読性は，大規模言語モデルにおける部材間の位置関係理解の有無を直接評価するものではないことに留意する必要がある．