口唇動作を用いた英語発話トレーニング評価手法の提案

抄録

口唇動作認識とは，音声認識と顔認識を組み合わせたマルチモーダル認識であり，発話認識技術の１つとして研究されている。我々はこの技術に着目し，顔認識ソフトを用いた発話トレーニングシステムを本研究室で開発した。今回我々は，本研究室で開発したシステムを用いて英語発話トレーニングを行った。それに伴い本校英語教員の発話データを取得し，データベースの作成も行った。このトレーニングでは英語教員の口唇動作と発話学習者の口唇動作を比較して発話トレーニングを行うことで，プレゼンテーションや面接時の発話改善，外国語の発話能力改善に役立てることを目的としている。発話の改善を示す評価結果は発話学習者に学習へのインセンティブとなる。本稿では発話動作を時系列に並べた口唇動作履歴による主観的な評価に加え，音声を可視化することのできるIPA チャートを用いた客観的な評価法の検討を行った結果を示す。