動作を表す言語を生成する深層学習における共同注意の有効性

抄録

共同注意は，ヒトの言語の学習において重要な役割を果たしていると言われている．このことに着目して，近年，共同注意を人工知能の言語理解に利用する研究が行われている．これまでの研究では，静止画像内の物体と語を対応づける際の共同注意の有効性は示されているが，画像系列（動画）内の物体の動作と自然言語文を対応づける際の共同注意の利用は検討されていない．本研究では，エージェントが2次元盤面上を動く様子を描画した画像系列を入力として，その主語と動作を表す自然言語文を生成するタスクを設計し，このタスクにおいて訓練者の共同注意を訓練に利用する深層学習手法を提案する．人工的に生成された共同注意を用いた実験の結果，共同注意を訓練時のみに参照した場合の精度は向上しなかったが，共同注意を訓練時およびテスト時に参照した場合には，顕著に精度が向上した．