抄録
あらまし 筆者らは,これまでに深層学習を用いた手話単語認識において,約93%の認識率を挙げている.本研究では,認識率の向上と手話文認識システムとの統合を見据えて,新たな手法を取り入れる.従来研究では音声認識に用いられるConnectionist Temporal Classification (CTC)と姿勢推定アプリのOpenPoseを用いているが,これを音声認識で使われているConformerという学習モデルと姿勢推定アプリのMediaPipeに変更する.その結果,認識率が向上した.この手法を応用することにより,手話文,読唇,指文字の認識も可能となる.