マルチモーダルモデルを用いた構造化プロンプティングによる欠陥検知の試み

抄録

本研究はPhi-3 Visionのような軽量マルチモーダルモデルを用い、ファインチューニングなしで金網画像の欠陥検知を試みた。特に、Chain-of-Thought (CoT)に類似した構造化プロンプトを導入することで、分類指示のみのベースラインプロンプトと比較して、欠陥検知の正解率が約69.5%から約87.6%に有意に向上することが確認された。これにより、プロンプト設計がモデルの識別性能を改善することが示唆された。