仮想空間オーケストラにおける視覚情報と聴覚情報の統合(学生研究発表会)

抄録

本研究では,映像と音楽が同期して動作する仮想空間オーケストラを実現するために,視覚情報と聴覚情報を統合して取り扱うことのできる視聴覚統合システムの枠組みを構築する.これにより,MIDIを利用して映像と演奏情報の提示タイミングを正確に制御することが可能になった.さらに,このシステムを利用して,映像と音楽の時空間的ズレが知覚に及ぼす影響について評価実験を行い,仮想環境システムが目安とするべき同期性について検討した.