自己検証ゲートを備えたエージェント型VLMによる土木分野の小物体の有無判定手法の検討

抄録

路肩不法投棄ゴミや路上落下物のように，カテゴリが多様で訓練データの継続収集が困難な小物体の有無判定は，土木分野に共通する課題である．本研究は，training-freeの条件下で，ローカル推論可能なオープンウェイトVLM（Vision Language Model）のFunction Callingを活用したエージェント型フレームワークを構築した．疑わしい箇所を自律的に拡大観察する適応的クロップと，結論の確定前に探索で注目した領域を再検証する自己検証ゲートを導入した．路肩不法投棄ゴミを事例に，単一プロンプトから検証ゲートを備えたエージェント型まで複数の構成を段階的に比較した結果，単一プロンプト方式のRecallは解像度を高めても13.7%に留まる一方，提案構成はRecallは74.67%，F1は最良で65.98%に達した．