シーングラフに基づく画像キャプション生成モデルの自動評価と解析

抄録

日本語における画像キャプション生成タスクでは，BLEUやMETEORのようなn-gramに基づく自動評価尺度が主に用いられている．しかし，これらの評価尺度は人間による評価との相関が高くないことが報告されている．そこで，日本語を評価可能なシーングラフに基づく自動評価尺度としてJaSPICEが提案されてきた．しかし，JaSPICEは一般的な画像生成タスクにおいてのみ検証が行われており，指示文付与タスクにおける有用性は検証されていない．またJaSPICEではエラーの分析も行われておらず，指示文付与タスクにおけるJaSPICEの解析とエラー分析は有益である．したがって，本論文では指示文付与タスクにおけるJaSPICEの解析および一般的な画像生成タスクにおけるエラーの分析を行う．実験の結果，JaSPICEはベースライン尺度と比較して人間による評価との相関係数が高いことを確認した．