深層学習を用いたハンドジェスチャ分類による非接触ユーザインタフェースの開発

抄録

本研究では，単眼RGBカメラより得られた入力画像からハンドジェスチャを認識しWebアプリケーションの操作を可能とする非接触ユーザインタフェースを実現する．操作デバイスに触れずに対象を操作するUIの先行事例として赤外線センサやモーションセンサを活用したものがあるが，単眼RGBカメラのみを利用することで汎用的なモバイルデバイスでも簡易に操作可能なジェスチャ操作システムの実現を目指す．研究の手法として，まず機械学習ライブラリであるMediaPipeによって検出した手の各関節の座標点を学習データとして収集し，深層学習によっていくつかのジェスチャへと分類する．さらに，認識したハンドジェスチャを反映させる形でアプリ上に表示された地図を操作する．また，MLP,CNN，LSTMといった異なるネットワークを用いて学習をおこない，それぞれの精度の検証および最も適したネットワークを選定した．最終的に，LSTMによる94%の精度でのジェスチャ分類を可能としモバイルデバイスで利用可能なNUIシステムを構築した．