文章分類モデルの不確実性に基づく人間によるデバッグ手法の提案

抄録

自然言語処理では事前学習済みモデルの公開により、AIの民主化が進んでいる。データ分析者だけでなく、ドメイン専門家もデータ駆動型AI製品を用いて課題解決に取り組む。このデータ駆動型AI製品を活用するには、継続的な精度改善とモデルの理解が必要である。しかし、データ分析者が常にAI製品を支援できるとは限らない。私たちは、データ分析者でなくドメイン専門家が継続的に精度改善可能なフローの確立が重要だと考える。そこで、説明可能なAI分野で取り組まれる人間のフィードバックを介した機械学習モデルのデバッグする手法に着目する。こららの手法は、説明性手法の結果に対して、人間が類似サンプル選択や不適切な説明箇所をフィードバックをする。私たちは人間によるデータ拡張を通じてドメイン専門家の知識をモデルに返し、精度改善を目指す。さらに本研究では、人間によるデータ拡張の負担の軽減に予測の不確実性を活用し、効率的な方法を提案する。実験では文書分類モデルを用いて、人間のフィードバックの必要性の検証と予測の不確実性の導入効果を精度比較でおこない、有効性を検証した。