事前学習済み日本語BERTモデルにおける概念知識

抄録

本稿では、事前学習済み日本語BERTモデルのFeed-Forward-network層において、概念に関する知識を保持するニューロンを特定する実験に取り組む。具体的には、事前学習を行った日本語 BERTモデルに単語穴埋めタスクを解かせる際にモデル内の重要な重みパラメータ（ニューロン）を特定し、その場所や重要性を比較対照実験により確認する。また、事前学習済み英語 BERT による先行研究の結果との比較も行い、特定の条件下で実験結果が異なることを示す。