機械学習を用いた日本語読唇における五十音データセット作成の提案

抄録

画像処理や機械学習を用いた読唇術は単語レベルで行われてきた、文章レベルでの認識を可能にするネットワークであるLipNetは、従来の方法よりも認識精度を向上させた。しかし、これは英語話者の場合であり、日本語話者に関する実験は行われていない。本研究では、日本語の全50音を含む日本語音声シーンの実験データベースを作成し、LipNetを用いた認識精度の評価を行うことを目的とする。