音楽が人間の情動に与える影響は昔から研究されており,音楽聴取時における喜怒哀楽といった感情や印象など音楽情動を対象とした研究が一つの分野として成り立っている.しかしながら音楽から情動を引き起こす研究は多々あるものの,情動によって音楽を生成するという研究はこれまであまりなされてこなかった.
そこで本研究では情動表出として顔の表情に着目し,顔画像により情動を認識することでその情動にあった音楽を生成することを目標とする.例えば,笑っている人の顔画像を用いると明るく楽しい曲が,泣いている人の顔画像を用いると暗く悲しい曲が自動で生成されるシステムを構築する.ここでは顔画像をカメラにより認識し,その表情から情動認識を行う際にRussellの円環モデルを用い,その情動に対応する音楽の生成にはHevnerの円環型尺度を用いた.このシステムを使用することで,例えば映画製作の場において,役者の映像のみでそのシーンにあったBGMが作成できるようになる.本研究ではこのようなシステムを実際に構築し,感性評価実験を行うことにより有効性を検証した.