画像キャプション生成におけるシーングラフ特徴量効果検証のためのユーザスタディ

抄録

近年，深層学習を用いた画像のキャプション生成に関する研究が盛んに行われている. 初期の研究では画像特徴量を用いたキャプション生成が中心として取り組まれていたが，画像中に含まれる人や物などの物体とその属性，及び，物体間の関係に注目したキャプション生成を目指し，シーングラフを用いたキャプション生成の研究も進められている. 本研究では，画像特徴量のみから生成されたキャプションと画像特徴量とシーングラフ特徴量の両方を用いて生成されたキャプションでどちらが画像に適しているかの比較をユーザスタディを用いて行い，その結果に基づき分析した. ユーザスタディの結果では，シーングラフ特徴量の利用がキャプションに影響しない割合が約66%で，シーングラフ特徴量を用いてキャプションがより良くなった割合が16%，画像特徴量のみでキャプションを生成したほうが画像に適していた割合が18%という結果を確認できた．