近年、XLNet等のニューラル言語モデルを用いて英語の長文問題が高い精度で解けるようにな ってきている. しかし, 「どうして解けるのか」つまり解答の過程はあまりよく分かっていない. この研究ではニューラル言語モデルがどのように長文問題を解いているかを探るために, 不要文 除去問題を対象とし, 機械学習モデルに対して「説明」を構築するSHAPを用いて分析した. 不 要文除去問題とは, 不要な一文が含まれた文章が与えられ, 文章のまとまりがよくなるよう, 不 要な一文を取り除く問題のことである. SHAPとは, モデルにおける各入力要素の出力への重要 度を「説明」として計算する「説明手法」の一つ である. SHAPライブラリに用意されている 出力関数を用いて全説明を観察し, 定性的分析を行った. 加えて, 除去文の前後とその他のトー クンの比較, 品詞別の分析を行った. その結果, XLNetは除去文の前後の文章の自然さを捉えて いることが観察できた. また, XLNetがピリオド, カンマに依存していることがわかった. また 品詞別の分析では副詞など少数の単語に強く影響を受けていることがわかった.
