移動体から見える風景を話題とする雑談対話システム

抄録

従来のTransformerベースの雑談システム研究では，テキストに閉じた対話を対象とすることが多い．また画像を利用する場合も，1枚ないし数枚の少数画像の認識結果に基づいて，話題を導入するための発話を行うものに限られている． 本研究では，クルマから見える移り変わる景色を話題として，パートナーのように知識応答や共感応答をする対話システムを提案する．大規模Transformer対話モデルを画像情報と合わせてIntermediate trainingを行うことで車窓の画像と対話文脈を同時に利用する対話モデルを構築し，さらに現在地周辺の店舗情報等を外部知識として導入することで，移動中のクルマからの風景を話題とする雑談を実現する．