Shapley valueに倣ったCNNにおけるオブジェクト単位での解釈性

抄録

ニューラルネットワークのブラックボックス化は，時にその利用に際しての障害となる．画像分野では，畳み込みニューラルネットワーク（CNN）に人間の認識に近い解釈性を持たせるために，入力の重要部分を可視化し，モデルの挙動を解釈する様々な手法が提案されている．本研究では，入力画像中のオブジェクトごとの重要度を算出し可視化する手法を提案する．まず，Neuron Groupsの手法に基づき，入力画像をいくつかのオブジェクトに分割し可視化する．その後、協力ゲーム理論におけるShapley valueの概念に従い，Expected Gradientsを適用して各オブジェクトのAttributionを計算する． 実画像を用いた実験の結果，CNNによって検出された画像中のオブジェクトを可視化することで提案手法の有効性が示された． また，オブジェクトのAttributionについてはShapley valueのような加法性を持つことも確認された．