LLMによる対話における驚き反応の生成

抄録

対話システムにおいて感情の表現は重要であり、「驚き反応」もその一つである。対話における驚きの要因はさまざまであり、予想外の展開や事物の希少性など知識や状況に依存する。対話システムのベースとなるLLMがこれらの要因を考慮して、驚き反応を示すことができるのかを評価した例は少ない。本研究では、（１）LLMでFew-shotで直接予測する方法、（２）軽量なBERTモデルを対話データでファインチューニングする方法、（３）LLMで対話の続きを予測し、実際の発話との差異に基づき判定する方法の3つを評価した。実験の結果、LLMをそのまま用いる方法が最も良いことが確認された。また、GPTの判断理由を精査したところ、驚く場面でも「一般的でよくあることである」という理由から誤って驚き反応を示さない判断を行う例がいくつか見られ、驚き反応を生成することの難しさや改善の方向性を明らかにした。