モーショントラッキングと機械学習を用いた指文字認識

抄録

本研究は、モーショントラッキング技術を用い、従来の静止画像認識が持つ計算コストや環境要因への脆弱性といった課題の解決を目的とする。MediaPipeで抽出した手の関節座標をデータセットとし、MLPおよびGNNで学習させた際の時間を静止画像の場合と比較した。結果、関節座標をデータセットとして用いることで学習時間は大幅に短縮され、特に関節座標とGNNの組み合わせが最も高速であった。このことから、モーショントラッキングデータと、その構造的特徴を反映できるGNNは、指文字認識の学習効率を高める上で非常に有効な組み合わせであると結論付けられる。