Hagi bot: LLMを用いた対話状態追跡と人間らしい振る舞いで自然な議論を行うマルチモーダル対話システム

抄録

本稿では，対話システムライブコンペティション6に提出したシステムについて述べる．本システムは，応答生成機構とアバター制御機構を組み合わせたタスク指向型マルチモーダル対話システムである．応答生成機構では，対話履歴と話し合うべき議題を考慮しつつ，GPT-4を用いて発話内容と感情・動作ラベルを生成する．具体的には，スロットフィリングにより対話状態を監視し，状況に応じてプロンプトを変更し続けることで，自然な対話展開を実現している．アバター制御機構では，応答生成機構で生成された発話内容や感情・動作ラベルに応じた音声・表情・姿勢を，ラッセルの感情円環モデルなどを参考に著者らが事前に設計したルールに基づいて制御することで，人間らしい自然な振る舞いを実現する．これら2つの機構を組み合わせることで，対話の状況に応じた議論の展開と発話内容や感情に基づいた自然な話し方を実現した．本システムは予選一位で通過した．