日本語事前学習済みBERTの言語学的機能による差分入力を用いたAttentionヘッド別機能分析

抄録

Transformerが内部に持つSelf-Attention機構(注意機構)は，自然言語処理以外にも様々な分野において効果的な手法として利用されているが，それぞれのAttentionモジュールに対しての解釈は不明な点が多い．本研究では，日本語を対象にAttention機構をヘッド単位で言語学的な機能と対応させることにより，Transformerモデルの内部の挙動を解析する手法を提案する．具体的には、特定の品詞にあたるトークンを入れ替えたり、語彙を固定して構文的な順序のみを変更する変換を行い、変換前後でのAttention Headの反応の差分を観察した。特定の品詞や係り受け関係を変えた文のペアを入力した際のBERTにおけるAttentionノルムの差分を取得し，その差分を可視化することで，特定の品詞や係り受け関係に対して特徴的なAttention Headを特定することができた．