手話認識システムの現状と課題

抄録

筆者らはOpenPose から得られたx-y 座標の2 次元情報を用いてディープラーニングによる手話認識を行 なった．その結果，75%の認識率が得られたが，認識率が低い手話を見ると奥行き情報（z 軸）のデータ不 足が認識に影響を与えたのでは無いかと考えた．ステレオカメラを用いれば解決できるかもしれないが， ステレオカメラを用意するのは，研究成果を広く一般に普及させることを考えるとあまり現実的ではない． そこで筆者らは現状の2 次元データから類似手話の識別が可能かどうかを考察してみることにした． 2 次元情報からは奥行き情報を得られないが，肩・肘・手首の各2 点間の距離を新たな情報として付け加 えたデータを学習させた場合に，認識率にどのような影響があるかを調査した． その結果，認識率が改善した単語もあるが，逆に誤認識を起こす場合もあることがわかった．OpenPose の2 次元情報から3 次元情報を推定する技術があるので，それを利用した学習について検討した．