ペン先の軌跡から説明者の意図を反映した画像キャプション生成

抄録

近年，画像キャプション生成の研究は画像に対する前処理から得られた情報を元に画像キャプションを生成するだけでなく，画像処理情報に対して，コントロールシグナルと呼ばれる視点に相当する追加情報を与えることで，画像に対してユーザの興味に基づくキャプションを生成する研究へと発展している．画像の概要を説明する際に，人は大抵，指でその領域を指しながら画像内の情報を伝える．また，その領域をより詳細に説明したい時は，その領域に指を滞在させる時間を増やした説明を行う．また，このような行為で生じる指差しの軌跡のことをトレースと呼ぶ．そのようなトレースの意図を反映して，画像内の注目箇所と説明文の詳述さをコントロールする，説明者の意図に沿った画像キャプション生成手法を開発する．