Remdis: リアルタイムマルチモーダル対話システム構築ツールキット

抄録

大規模言語モデルの発展により，対話システムの応答の自然性は飛躍的に向上した．しかしながら，適切なタイミングでの相槌の生成やターンテイキングなど，自然なインタラクションが可能な対話システムの実現にはまだ多くの課題がある．本稿では，リアルタイム処理によるマルチモーダル対話システムの研究開発を加速する目的で，Incremental Units (IUs)と呼ばれる情報単位を導入した逐次対話処理フレームワークとそのツールキットを提案する．提案するフレームワークは，マルチモーダル入出力，認識，合成，対話制御のモジュールを有し，各モジュールの処理と情報のやり取りをインクリメンタルに実行する．応答の生成にはChatGPTを採用し，MMDAgent-EXと連携したマルチモーダル出力にも対応する．