2021 年 28 巻 1 号 p. 26-59
雑談対話システムの評価指標として,ユーザとの対話を継続させる働きを表す,対話継続性が挙げられる.対話モデルの先行研究において,対話継続性の向上には,システム発話の一貫性が重要であると考えられている.そこで本論文では,対話モデルより生成された応答候補を,対話中に含まれる事態の一貫性に基づいてリランキングする手法を提案する.提案手法は対話に含まれる事態の一貫性(「ストレスが溜まる」と「発散する」は関連した事態である,など)を考慮することで,選択される応答の一貫性,対話継続性の向上を図る.本研究では異なる 2 つの手法を考案した.一つ目の手法は統計的に獲得された因果関係ペアとのマッチングにより,対話中の事態の一貫性を考慮し,二つ目の手法は Coherence Model によって,対話の一貫性を考慮する.自動評価の結果,これらの手法では応答中の単語選択の観点では一貫性は向上していることが確認された.一方で,人手評価の結果では,応答の主観的な一貫性は明確に向上しないものの,一つ目の方法により対話継続性が向上するという,一見して矛盾する結果が確認された.この結果より一貫性と対話継続性の関係について,人手評価結果の相関分析,事例分析を行った.これらの分析結果より,人手評価において主観的な一貫性の向上は対話継続性の向上にあまり寄与しないことが確認された.また,対話履歴に対して一貫する事態を選択できている場合には対話継続性が向上することが示唆された.