河川の不法投棄物検知におけるマルチモーダルモデルの適用検証

抄録

国土交通省は、専門知識を有する作業員の人手不足による河川巡視の問題を解決するために、ドローンとAIを使用した自動化取り組みを開始した。しかし、AIによる河川巡視には課題があり、巡視規定で定められた微妙なニュアンスの識別や判断誤差が生じることがある。不法投棄物および不法工作物を河川上に設置された物体として1クラスとして検出し、検出領域を多クラス分類する、分類されたクラスに応じて不法工作物および不法投棄物に割り当てるという処理を実施することが最も妥当であるとされているが多岐な対象物体のクラス数を定義した上で、それらの識別を行うモデルを構築することは現実的ではない。そこで、本研究では自然言語と画像の相関性を学習したマルチモーダルモデルを使用して、河川の空撮画像に写った不法投棄物に対するタグ付けを試み、その結果を評価する。