end-to-end学習を用いたマルチモーダル多人数会話における対話ロボットの行動ターゲット生成

抄録

多人数会話システムの行動決定を，マルチモーダル情報を入力とした機械学習モデルによって実現することを提案する．従来のEnd-to-End学習で用いられたデータは，特に出力においてシステムの具体的な発話内容などを含むため，結果として得られるシステムがタスクやドメインに依存したものとなっていた．そこで本研究では，出力を行動を抽象化した行動タイプとする，ドメイン依存性を低減したEnd-to-End システムを提案する．Wizard of Oz 法によるデータ収集の際には Wizard に行動タイプを選択させ，具体的なシステムの発話内容の決定には，既存の発話内容決定モジュールを利用するという方法をとった．実際に収集したデータを利用した実験を通じて，本システムの有効性を示す．