分散表現を用いたトピック抽出における確率的変分推論法適用への取り組み

抄録

LDAに基づいた確率的トピックモデルは、文書の中に潜在的に存在するトピックを抽出するのに広く用いられている．近年、多くのLDAの拡張モデルが提案されていて、中でもGaussiain LDA(G-LDA) が注目されている．G-LDAはトピックモデルと単語の分散表現を組み合わせたものであり、LDAにおける離散の単語分布を、単語の分散表現の空間上における多変量正規分布に置き換えたものである．これにより、トピックに単語の意味知識を反映させることが可能になる．本研究では、G-LDAにおける事後分布推定の方法に効率的な手法である Stochastic Variational Inference (SVI) を適用している．この手法は、大規模テキストに対して効率的なトピック推定を可能にし、逐次的な学習にも有効である。