構造正則化学習と独立性基準を用いたマルチタスク非線形特徴選択法

抄録

HSIC LassoはHilbert-Schmidt独立性基準に基づくスパースな非線形特徴選択法で、現時点で最も効果的なフレームワークのひとつである。しかし、従来法の単一の基底カーネル関数に基づいた特徴選択では、サンプル数が少ないと選択結果が不明瞭になる傾向があり、さらに特定の問題設定においては特徴量を取りこぼす場合もあった。本研究では複数の基底カーネル関数と、それらに対して特徴量ごとにグループ構造を設定した非負制約付きGroup Lassoを用いてマルチタスク学習を行い、複数の独立性指標に基づいて有用な特徴量を明瞭に選択可能な手法を提案する。従来法と同様に、提案手法は他のいくつかの独立性指標にも応用でき、超高次元・大規模データセットへの拡張性も持つ。本研究では提案手法の有効性を検証するために、複数の人工データと実世界データに適用し、選択特徴の精度や冗長性、及びそれらを用いた回帰タスクや分類タスクのスコアを比較した。その結果、提案手法はよりスパースに非線形特徴を選択でき、学習モデルに必要な特徴量を適確に拾い上げることが確認された。