マルチモーダル入力と強化学習による擬人化エージェントの対話制御の検討

抄録

我々は、音声対話技術が人間に違和感を与えることなく使われるために、人間に近い外観を持ち、マルチモーダル情報を常に受け取り、意味のある反応をリアルタイムに行う擬人化エージェントシステムの実現を目指している。本報告では、強化学習に基づく音声対話の枠組みを発展させ、音声、顔認識等のマルチモーダル入力を用いて、エージェントが人間に話しかけたり人間の発話に割り込んだりするタイミングを制御する手法を提案する。