ハルシネーションに頑健な画像キャプション生成の自動評価

抄録

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．本分野における課題の一つとしてハルシネーションへの対処が挙げられる．ハルシネーションとは画像キャプション生成モデルが画像内に存在しない単語を出力する現象のことを指し，画像キャプション生成においては度々発生することが知られている．本分野における既存の自動評価尺度は複数の参照文を十分効果的に活用していないという問題があり，ハルシネーションに頑健でない． そこで，本研究ではハルシネーションに頑健な画像キャプション生成の自動評価尺度DENEBを提案する．DENEBでは，Sim-Vec Transformerの導入によって複数の参照文を適切に扱うことで，ハルシネーションに頑健な自動評価尺度を実現している． さらに，DENEBを学習するため，805人の被験者から3.3万サンプルの人間による評価を収集した最大規模のデータセットPolaris2.0を構築した．実験の結果，Composite, Flickr8K-CF, FOIL, PASCAl-50S, Polaris2.0において，既存手法を上回る性能を得た．