重みつきCity-block距離に基づく順位関数の最適化

単語ベクトルによる類推課題の教師あり学習に向けて

抄録

単語の共起確率のベクトル空間埋め込みに基づいて、四項類推課題で高い正答率で回答できることが知られ、近年の自然言語処理における基本的技術となっている。一方、ベクトル空間への埋め込み自体は、類推課題のために最適化されてはおらず、類推課題の正答率を系統的に最適化した場合にどの程度の正答率を得られるかはよくわかっていない。本研究では、単語ベクトルによる類推課題の正答率の最大化を、距離に基づく順位関数の最小化として定式化し、重みつきCity-block距離の順位関数の導出を行った。この順位関数は指数的な組み合わせ計算を要するが、特定の条件の下では計算可能な漸近的関数を得ることができる。本研究はこの漸近関数を用いた近似関数により類推課題の最適化ができることを示し、その数理的構造が含意する単語ベクトルに基づく類推の数理的機序について考察する。