大規模テキストを用いたTransformerベース雑談対話システムの構築

抄録

本論文は我々のチームが対話システムライブコンペティション4に提出したシステムについて報告し、分析を行う。本システムはTransformer Encoder-Decoderモデルを用いて、ユーザーの発話を考慮し、システムの発話を生成するシステムである。事前学習はwikipediaとtwitter対話データ、ファインチューニングではtwitter対話コーパスを用いた。ライブコンペティションの結果としては6位になり、不適切な発話の生成などの問題点が挙げれた。最後に、実際の対話例を用いた分析、改善案について述べる。