EEGデータでの事前学習済み深層学習モデルを用いたInner Speechの単語分類

抄録

脳活動データからのinner speechのデコードは, 障害を抱えた患者の意思疎通の円滑化や, メタ認知理解などに繋がると考えられる. 先行研究では, 深層学習モデルEEGNet を用いて実験が行われたが, 4 クラス分類のタスクで30% ほどの正答率であった. ここで, 転移学習を用いた特徴量抽出の精緻化が有効であると考えられる. しかしinner speech に転移学習が用いられた研究は未だなく, EEGデータ一般でも, 異なるタスクのデータや, EEG以外のデータの転移学習における有効性については, 十分に検証がなされていない. 本研究では, inner speech データセットに, ドメインやデータ量の異なるデータセットを用いた転移学習を行い, 特徴量抽出の改善を検証した. 結果, 異なる被験者のデータを用いた転移学習による精度の向上が確認できたが, 異なるタスクのEEGデータを用いた場合は精度は改善しなかった. 一方で画像データセットは, 凍結する層を工夫することで, EEGデータとは性質が異なるにも関わらず, 精度の向上が確認された.