自然言語処理
Online ISSN : 2185-8314
Print ISSN : 1340-7619
ISSN-L : 1340-7619
一般論文
訓練事例の影響の軽量な推定
小林 颯介横井 祥鈴木 潤乾 健太郎
著者情報
キーワード: 影響関数, Dropout
ジャーナル フリー

2021 年 28 巻 2 号 p. 573-597

詳細
抄録

機械学習モデルの挙動の解釈において,各訓練事例がもたらす影響を理解することは重要である.単純にはデータセットから対象の訓練事例を除いて再訓練してモデルの変化を解析することもできるが,必要な計算量が非常に大きくなってしまい,特に膨大なパラメータのニューラルネットワークモデルへの適用が困難であった.本論文では,ニューラルネットワークモデルへの各訓練事例の影響の推定手法として,既存手法に比べて非常に効率的な方法を提案する.提案手法では,各事例の学習時に dropout を用いて,事例ごとに固有のサブネットワークのパラメータを更新せずに訓練を進めることで,訓練終了後には各訓練事例の影響を受けていないサブネットワークを自由に抽出し,それを影響値の推定に活かすことができる.実験では,提案手法を,文書分類と画像物体認識において,BERT および VGGNet に適用し訓練事例への紐付けを行うことで,解釈性の高い形でモデルの予測を解析できることを示した.また,サブネットワークの学習曲線の解析やデータフィルタリングの実験を通して,提案手法が事例間の関係性を適切に捉えていることを定量的に示した.

著者関連情報
© 2021 一般社団法人 言語処理学会
前の記事 次の記事
feedback
Top