一般論文（査読有）
ニューラル数式ソルバーにおける途中結果の追跡と操作
2023 年 30 巻 4 号 p. 1151-1171
詳細
2023 年 30 巻 4 号 p. 1151-1171
数値を処理できる言語モデルは実用的，科学的のどちらの観点から見ても興味深いものである．そのような言語モデルのより深い理解のためには，「どのような問題が解けるのか」ということだけでなく，「モデル内部でどのような処理が行われているか」という観点も重要である．本研究は単純な数式とその途中結果に着目することで，Transformer モデルが数学的能力を獲得し，複数ステップに及ぶ処理を行っているかを検証する．途中結果の情報が符号化されている箇所を追跡 (Tracing) し，符号化されている箇所の状態を操作 (Manipulation) してモデルに対して因果的介入を行うという二つの実験を行った結果，内部表現の特定の方向が線形に近い形で途中結果を符号化していること，そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す．本手法は数学的な問題に対するモデルの解釈可能性を高めることにも繋がる．
