ニューロンを活性化させるテキストに基づくニューラル自然言語処理モデルの解析手法

抄録

本研究では，ニューラル自然言語処理モデルをより深く理解するためのアプローチとして，モデルの最小構成要素であるニューロンの役割を，個々のニューロンを強く活性化させる文章に基づいて明らかにする方法論を提案する．提案手法は，大規模コーパスから各ニューロンを活性化させる文集合を抽出し，データマイニング技術を用いて抽出した文集合を抽象化することで，個々のニューロンが捉える言語現象を明らかにする．実験では，我々の手法を使用することで，与えられたモデルの各ニューロンが具体的にどのような言語的側面を捉えているのか，また複数のニューロンがどのように相互に関係しているのかという点について深い洞察を与えることを示す．