マガーク効果における視覚と聴覚の知覚のゆらぎ

抄録

マガーク効果によって音声言語の音韻知覚が視覚情報によって変化する現象が見られる。例えば、baの音声にgaの口の動きを合成するとda (融合反応)やga (視覚反応)などのように知覚される現象である。本研究では、この現象を私が制作した動画においても再現できるのかを検証した。高校生5人のba、pa、ma、の音声に、それぞれ一致した口の動きと、矛盾した口の動きの映像(ga、ka、na)を合わせた。撮影はiPhone8の内蔵カメラ、編集はスマートフォンの動画編集アプリInShotとVivaVideoのいずれも無料版を使用した。高校生25人(健常者 24名、聴覚障碍者 1名)に6つの動画の聞こえ方とその明瞭度(どの程度はっきりと聞こえたか)を評価してもらった。一致刺激に対して矛盾刺激の方がいずれも正答率(正答とは聴覚情報を回答すること)が低かったため、マガーク効果は再現されたと思われる。また、矛盾刺激に対して一致刺激の方がいずれも明瞭度が高いと回答した人が多かった。誤答については視覚情報に寄るか聴覚情報に寄るかで個人差があり、後者の方が多く見られた。これは視覚情報よりも聴覚情報に日本人は依存しやすいという先行研究に一致する。動画を制作する際にそれぞれ重視する感覚の情報を弱めれば、融合反応が多く見られると考える。加えて、同様の手法を用いて、ba、pa、maの音声にra、sa、yaの映像を合わせた動画を制作した。高校生17人(健常者 16名、聴覚障碍者 1名)に聞こえ方と明瞭度を4段階で評価してもらった。2つの実験を通して健常者と聴覚障碍者の回答を比較した。聴覚障碍者の方が視覚情報に依存しやすく、これは読唇と日常的に口元に注視する習慣が影響していると考えられる。