私たち人間は発せられた言葉そのものではなく声質や発声の多様性などの非言語的な手がかりから感情を認識している。そのような非言語的要素をパラランゲージと呼ぶ。これまで我々はマルチモーダル認識の1つである口唇動作に注目し，口唇動作による発話認識の手法について研究してきた。しかし個人差による認識率の低下がみられた為，次に口唇動作による発話トレーニングを行い，認識率の向上や発話改善を目指してきた。研究の過程で日々の疲労や体調によって口唇の開き方に差が生じること，滑舌に影響することを経験してきた。また眼は心の窓と例えられ，感情や体調を表す情報として日常的に利用されている。このことから日々変化する眼や口の動きといった画像情報から，心理物理的に体調を評価できるのではないかと考えた。病気の早期発見や医療・介護現場での適切な治療に役立てることを目標として，提案手法の有効性を確認するために，眼球運動中の固視微動の研究においては簡単な計算課題を実施し，口唇動作の研究では簡単な発話訓練用のフレーズを発話させた。加えて視覚疲労を評価する指標として広く用いられているCFF 値を取得した。それらの結果をもとに考察を加えた。
