面接自動評価のためのマルチモーダル深層学習自動採点モデルの開発

抄録

面接試験は採点にコストがかかり、評価者の主観に左右される問題がある。本研究では、人工知能を用いて映像、音声、テキスト情報を解析し、自動採点を目指す。従来の手法では、性能が人手で設計した特徴量に依存し、複数観点の相関を明示的に考慮していない。本研究では深層学習から抽出した特徴量と人手設計の特徴量を併用し、Attention機構を用いて評価観点間の相関を活用するマルチモーダルなモデルを提案する。