HMDとKinectを用いた体感型ARマニュアルの提案

君も今日からハンドベル奏者だ！

抄録

本研究では、教育中もしくは作業中に、逐次、対象者に的確に指示することができ、対象者が迷い誤った場合には助言や修正指示することができる、教育効果や作業効率の向上を目的としたシステム「体験型ARマニュアル」を提案する。対象者は、首振り姿勢を検出できる透過型HMD（ヘッドマウントディスプレイ）を装着し、ARによって構築された各種支援情報をHMD上で確認しながら作業手順を習得する。対象者の動作は、非接触のモーションキャプチャによって実時間で計測する。計測した動作から、対象者の「迷い」「誤り」を検出し、逐次、助言や修正指示をARによって提示する。 ここでは、より安価で誰でも気軽に演奏できるハンドベルとして、日本で30年前に造られた楽器であるミュージックベルの演奏技術の習得に、本システムを適用し、演奏曲の一例として、童謡「チューリップ」を対象に体験型ARマニュアルのプロトタイプを製作した。プロトタイプでは、曲のテンポに基づき支援情報を提示し、対象者が正しい動作を行ったと判断し次に進むことができた。また、担当外の音については、プログラム側で再生することができた。