音声・物体・物語レベルの意味理解に関するヒト脳活動と大規模言語モデルの潜在表現の対応

抄録

ヒトと同程度に意味を理解可能な機械学習モデルを構築することは，人工知能研究の大きな目標の一つである．近年登場した大規模言語モデル（LLM）は，意味理解に関わるベンチマークタスクの精度を大幅に向上させた．一方，LLMが内部でどのように意味情報を表現しているのか，その表現様式が人間とどの程度類似しているのかは不明な点が多い．本研究では，意味理解中のヒト脳活動とLLMの潜在表現の対応関係を示すことにより上記の疑問に答える．そのために，機能的磁気共鳴画像法(fMRI)を用いて取得された長時間のドラマ視聴時のヒト脳活動と，同ドラマの意味内容を記述する音声・物体・物語といった異なるレベルの言語情報に関するLLMの潜在表現との対応関係を探った．我々は，特に高次の意味内容について，LLMの潜在表現が従来の言語モデルよりもヒト脳活動をよく説明することを示す．また，異なるレベルの意味内容に関するLLMの潜在表現は，それぞれ異なる脳部位の活動をよく説明することを示す．