LIMEを用いた画像認識モデルの比較評価手法の提案と評価

抄録

画像認識モデルにおいて，正解となる対象物とは異なる部分を根拠に画像を予測してしまっている問題がある．そのため，根拠が正しいかどうかを比較することでモデルの評価ができないかと考えた．そこで，画像認識モデルの予測に対してLIMEを用いて判断根拠を可視化し，その判断根拠の一致する数でポイント数を求め，合計ポイント数が高い画像認識モデルを良い評価とする手法を提案する．前提として，判断根拠を比較することでモデルを評価することができるかを調べるためにImageNetの評価用データを使用して目視によってモデルの判断根拠を比較する予備実験を行った．その結果，モデルごとの差が出ており評価は可能であることがわかった．また，同じ評価用データを使用して12種類の学習済みモデルを対象に提案手法の評価実験を行った．評価実験の結果，DenseNet-121とResNet-50が最も良いモデルだといえ，目視での確認による評価の縮小版として提案手法には一定の有用性があると考える．ConvNeXtのように最も正解をしているにもかかわらず判断根拠が他のモデルとは異なっていることからポイント数が低くなる場合もあり，正しい判断根拠で正解しているにもかかわらず本論文での提案手法では悪いモデルと区別されてしまう問題もあった．