マルチモーダルなマイクロ行動分析に基づく複数人会議の定量化

抄録

本研究では、オンライン会議の定量評価に着目し、ミーティング中よく発生する三つのマイクロ行動「発話」、「頷き」、「笑顔」を正確に検出し、エンドツーエンドのオンライン会議定量化システムを提案する。話者認識（ASD）システムでは、音声と映像の時系列情報を抽出するエンコーダ、cross-attentionによるモーダル情報インタラクションモジュール、および長期的な発話特徴を捉えるためのself-attentionモジュールが含まれてる。頷き検出のため、頭部姿勢推定（HPE）の研究で提案されたWHENetモデルに基づいて、頭部のピッチ方向を入力特徴として、GRUによる頷き認識システムを構築する。笑顔検出はHaarカスケード分類器を用いる。K-分割交差検証法によって提案手法を評価した結果、各モジュールのF値はそれぞれ94.9%、79.67%、71.19%であった。