機械学習による口の形状を用いたコマンド認識に関する研究

抄録

従来の口元の動きによる機器操作では、口元の動画を登録する必要があり、ユーザーに負担がかかっていた。本研究では、自然言語でコマンドを登録し、口元の動きから発話内容を推定する手法を提案した。自然言語と動画からそれぞれ特徴量を抽出するモデルを構築し、両者の特徴量の類似度から発話内容を推定する。実験では、提案手法により従来手法と同等の精度が得られた。しかし、ユーザー非依存の場合は精度が低下することが分かった。今後は更なる精度向上が課題である。