チャットシステムに用いるべき単語分散表現の検討

抄録

テキストデータをコンピュータが処理することができ れば、人間の文明発展においても大いに役立つ。実際に使われている技術として、感情推定、チャットボット、言語翻訳などが知られている。特にチャットボットにおいては、旅館予約サイトの質問応答やAlexa、Siriなどに使われている技術であり、まだ発展途中ではあるが、私たちに親しみのある技術である。しかし、自然言語はプログラム言語と違い、あいまいな表現があったり、年代によって意味が変わったりなど、コンピュータにとって理解しにくい言語である。近年、創薬、自動運転等でディープラーニングの最適化が進んでおり、自然言語処理 においてもその性能向上が期待される。本研究では、ディープラーニングによる言語モデル(1)を用いて、文章生成システムを作成し、文章の文法的な正しさや類推問題によって、Word2vec、カウントベースのどちらをチャッ トシステムに用いるべきなのかを検証する。