マルチモーダルLLMを用いたCoT Promptingによる振る舞い図読み取り技術の提案

抄録

近年，ソフトウェア開発の要件定義・設計・コーディング・テストなどの各工程において大規模言語モデル（LLM）の利用が検討されている．LLMを用いた開発において，求められる要求に沿った要件を定義し，それに沿う設計を行い，コーディング，テストと工程を進めていくためには，各工程で作成される開発資材（ドキュメントやソースコードなど）をLLMに正しく解釈させることが重要となる．開発資材には図や表といったビジュアル情報が含まれている場合が多く，ビジュアル情報には開発対象の挙動や利用の際のユースケース，ハードウェア構成など開発に欠かせない情報が含まれている．この中でも特に，開発対象の挙動やユースケースなどを示す振る舞い図は，ソフトウェア開発工程の中でも上流工程にあたる要件定義や設計の段階で作成されることが多く，ユーザの要求するソフトウェアを正しく開発するために重要な情報となる．現在，画像を入力可能なマルチモーダルLLMとして市中製品として広く利用されているChatGPTやClaude等では，画像を読み込み，当該画像の示す機能や振る舞いを解釈する機能を具備するものが多くあるが，画像上の文字の読み取りや画像内のオブジェクト間の関係等の細かい情報の読み取りで読み取り漏れやハルシネーション等が発生するという課題がある．本研究ではマルチモーダルLLMを用いて振る舞い図を読み取る精度を向上させる技術を提案する．