深層学習を用いた動画刺激時の脳活動データからの文生成

抄録

近年脳神経科学の分野において、脳活動データを言語表現で定量的に分析する研究が多く出てきている。本研究は深層学習を用いて動画刺激時の脳活動データから自然言語文を生成することを目的とした。その際、脳活動データ数が少ないことから、事前学習したS2VTモデル(動画説明文生成手法)を援用した。脳活動データをその手法に適応するために、脳活動データと動画特徴量の対応関係を学習した。実験結果としてはまだ適切な文章を生成するには至っていない。今後の課題としてモデルの改良を行う。