InfLLaVA: Instruction-Tuning による橋梁点検特化型マルチモーダル大規模言語モデルの構築 －橋梁点検に関する専門的知識とマルチタスク対応能力の獲得－

抄録

本研究では，橋梁点検業務の効率化を目的として，橋梁点検に関する専門的知識を組み込んだマルチモーダル大規模言語モデルを提案する．既存研究では，タスクごとに個別のモデルが必要であったが，本研究ではタスク指示文とそれに対応する応答例を与え，具体的なタスク遂行に特化させる学習手法である instruction-tuning により，損傷判定や所見生成など複数タスクに一貫して対応可能なモデルを構築する． 学習には国土交通省の橋梁定期点検調書を用い，さらにモデルの汎化性能とロバスト性を高めるため，質問の多様性と表現の多義性に基づく 2 種類のデータ補強手法を導入した．実験では，各タスクにおける精度を評価し，提案モデルの有効性および実運用への適用可能性を検証した．検証の結果，提案モデルは非常に小規模なパラメータ規模でありながら，画像分類モデルやGPT ベースの生成モデルと同等の精度を複数タスクで達成し，実運用を見据えた軽量かつ高精度な点検支援モデルとして有望であることを確認した．