楽譜の自動認識システム (WABOT-2の視覚系)

抄録

早稲田大学のプロジェクトチームは, 楽譜を読み, 10本の指と両足で電子オルガンを演奏する知能ロボットWABOT-2を開発した.このロボットは, 人間と人工の声で会話することができる.
この論文では, 楽譜のデータ構造に基づいた高速の専用ハードウエアによる検出と, 楽譜の知識を利用したアルゴリズムを用いて, 印刷楽譜だけでなく, インスタント・レタリング楽譜も約15秒で認識できる本ロボットの視覚システムについて報告する.
印刷楽譜の自動認識については, すでに幾つかの報告があるが, ロボット肩上に設置されたカメラで, 譜面台上に無造作に置かれて湾曲・変形した楽譜を実時間で読み取らなければならないという演奏ロボットの目として十分に使用できるシステムはない.
視覚系の出力はロボットの手に直接渡されるため, 演奏不能な不正データの出力は許されない.したがって本システムでは楽曲規則および楽譜のもつ冗長性を利用して, 識別結果の矛盾と不協和音の検査をすると共に, その誤り訂正および補間を行い, 音楽的により正しい認識結果を得ている.
3パートからなる童謡程度の市販エレクトーン楽譜1枚について, 処理速度15秒以内, 認識率ほぼ100%の結果を得ており, 実時間演奏ロボットの視覚系としての機能を充分達成することができた.