ヒト脳内における視覚・言語情報の階層的処理の解明への取り組み

抄録

本研究では、ヒト脳内における階層的情報処理機構の解明を目的に、画像に対して階層的処理を行う深層学習モデルである畳み込みニューラルネットワーク（CNN）とTransformerを用いた汎用言語モデルBERTを用いて各中間層より抽出した特徴量から脳活動を予測する符号化モデルを構築し、予測された脳活動にRepresentational similarity analysis（RSA）とPageRankアルゴリズムを適用して、階層的情報処理における脳領域間連携のハブ性の変化を調査した。その結果、視覚処理においては、初期の視覚処理では後頭視覚野周辺領域のハブ性が強くなり、後期の視覚処理では前頭前野および側頭葉のハブ性が強くなることがわかった。