動作推定を取り入れた1枚の画像からのキャプション生成

抄録

自動的に画像から内容を説明する文章であるキャプションを生成することが行われており，深層学習を用いる手法が報告されている．しかし，既存の深層学習の手法は，色や形状などの画像特徴のみを用いるため，動作に関するキャプションの生成に問題が発生する．本論文では，画像から動作特徴を推定する画像キャプション生成モデルの提案を行う．実験結果より，動作特徴を活用する提案手法はキャプション生成の性能を向上させた．