IRセンサを用いたジャスチャ認識による演奏制御法(映像表現フォーラム)

抄録

オーケストラの指揮を体験してみたい人は数多くいる.しかしながら,実際に体験することのできる機会は非常に稀である.本研究では,指揮棒を本物のオーケストラ指揮のように振ることで,その振り方に応じてコンピュータが演奏を行うシステムを開発した.指揮棒にIR-LEDを取り付け,その動きをWiiリモコンに内蔵されるIRカメラによりセンスする.ジェスチャ認識には,隠れマルコフモデルを用いる.ユーザは指揮棒を振ることで,曲のテンポをコントロールする声とができる.