マルチモーダル機械学習モデルに基づく就職活動面接訓練フィードバックシステム効果の分析

抄録

我々は，VR体験型の人型エージェントシステムを構築し，就職面接対話データコーパスを収集した． このデータコーパスには，第三者の専門家が採点した面接スキルのスコアと、被面接者が記入した自己効力感のアノテーションが，質問-回答ごとに含まれている． また，音響・生体信号・視線・言語などの様々なマルチモーダルデータも含まれている． 本研究では，就職活動面接訓練を自動で行うためのフィードバックシステムを開発し，そのフィードバックの影響について分析を実施した． フィードバックシステムには音響・言語特徴を利用した機械学習モデルを利用している． 対照群では，本を用いたフィードバックを実施した． 本と提案システムの効果を比較した結果，本と比較したときに，提案システムによるフィードバックが自身を過大評価する傾向のある群に対して，自信を抑制できる可能性が示唆された．