記憶装置付きニューラルネットワークモデルによる文脈と構造化知識を用いた対話

抄録

近年，対話のアーキテクチャとしてSeq2SeqやTransformerといったsequence to sequenceなモデルが主流になっている．一方，より自然で知的な対話を行うには文脈理解や知識活用が必要であるが，そのための長期間におけるデータ保存の能力には限界があると議論されてきた．そこで，文脈情報などの長期の情報を保持するために，Differentiable Neural Computer(DNC)といった記憶装置付きニューラルネットワークモデルが提案されている．本研究では，DNCを拡張し文脈と知識の両方を用いたモデルを提案する．一貫性があり，かつ大規模な知識を要求する質問とその答えで構成された会話のデータセットを用いて実験を行なった．2万回学習を行ない，全体の評価事例における予測単語が不正解であった割合を表す誤り率によって評価した結果， 平均で69.25%であった．同様に2万回学習を行なったオリジナルのDNCモデルの結果は69.09%であり，オリジナルのモデルの方が誤り率がやや低かった．