類似手話語彙の平面データによる光学的識別法（１）

―特徴点の抽出と遷移の検証―

抄録

筆者らはOpenPose[1]から得られたx-y 座標の2 次元情報を用いてディープラーニングによる手話認識を行なった． その結果，75%の認識率が得られたが，認識率が低いデータを見ると奥行き情報（z 軸）のデータ不足が認識に影響 を与えたのでは無いかと結論づけた．ステレオカメラを用いれば解決できるかもしれないが，ステレオカメラを用意 するのは，研究成果を広く一般に普及させることを考えるとあまり現実的ではない．そこで筆者らは現状の2 次元デ ータから類似手話の識別が可能かどうかを考察してみることにした．本論では神田・木村(2019a)[5]の枠組みを活用し，像素である動体として肩，肘，手首を設定，その座標から肩，肘，手首の各距離を計算し，時間的な軌跡の変化を検出し，速度をグラフのパターンで表示することで手話の動きを測定した．この分析により，表1 には記述されていない遷移の重要性を指摘することができた．上下運動がy 軸の変化で示されるのは予測通りであったが，前後位置関係も遷移の時間的前後により距離パターンが変化することから，本論の範囲での比較においては推測可能となった．