属人的インターフェースを目指した画像入力型ゲームコントローラの開発

抄録

ヒトの四肢や手指の状態および機能はそれぞれ異なっており、例えばそれは肢体不自由者などにおいて顕著であるが、いわゆる健常者においてもどの程度一般化可能であるかは厳密には明らかではない。本研究では、各個人の四肢や手指の状態に最適化されたゲームコントローラの開発を試みる。そのために、画像入力型のコントローラーの開発を試行した。これは、紙上に描かれたボタンなどの図形とヒトの手指をビデオカメラで撮影し、その相対位置関係によってゲームコントローラとしての入力を決定するものである。これによって、例えば手指の機能や状態に応じて「押下しやすい」位置にボタンを配置することが可能になる。今回は、ボタンなどの図形の認識にオブジェクト検出アルゴリズムであるYOLO(You Look Only Onse) を用い、手指の認識に MediaPipe を用いた。開発したシステムにより、デジタルゲームプレイのためのインターフェース入力が可能であった。