ペアワイズニューラルネット距離による不変表現学習

抄録

観測に含まれる特定の因子に対して不変な表現を学習する不変表現学習は，ドメイン汎化や公平性配慮など広範な応用範囲を持つ基礎技術である．本稿は不変表現学習の問題に対して次の3つの貢献をする．第1に，State-of-the-artな不変表現学習手法である敵対的特徴学習は理論的には条件付きエントロピーの最大化という妥当な解釈ができる一方で実際的には不安定な挙動をする場合があることを実験的に示す．第2に，敵対的特徴学習が目的とする条件付きエントロピーの最大化はペアワイズな分布間距離の最小化問題として再定式化可能であることを示し，ペアワイズな分布間距離を最小化する手法としてWasserstein距離にもとづく新たな手法を導出した．最後に，ペアワイズな分布間距離の最小化という解釈によって引き起こされる計算論的な困難性に対して，パラメータ共有による解決策を提示した．実験では，提案手法が既存手法と比較してより短い更新回数で不変な表現に到達すること，また不変表現学習の応用例の1つであるドメイン汎化で良い性能を達成することを示す．