言語刺激下の予測脳活動を対象にした汎用言語モデルと深層学習モデルの検証

抄録

音声会話刺激における脳内状態推定において，音声スペクトログラムを音声特徴量として脳活動データに3種類の深層学習モデル(Bi-LSTM/Bi-GRU/Bi-RNN)を用いて推定する実験を行ない、それぞれのモデルの推定性能の比較を行った．どのモデルにおいても大きな差異はなく、音韻や文法処理を司るとされる耳に近い脳領域に反応が見られた． さらに、聴覚刺激をテキストに興し、言語特徴量を用いて脳活動推定を行なった．埋込ベクトルに変換する汎用言語モデルにはRoBERTa/BERT/word2vecを用いた．本実験では，耳の周辺領域に限らず脳内における広い言語領域で反応が確認できた．