情報量規準の連続最小化による線形回帰の変数選択

抄録

本稿では線形回帰における変数選択問題を扱う．その簡便さから，線形回帰モデルは予測に用いられることが多い．線形回帰を用いる際には，モデルに使用する変数の組とそれらに対応する回帰係数を同時に最適化するという変数選択を実行することが重要となる．本稿では，我々が以前に提案したSICM(Sequential Information Criterion Minimization)アルゴリズムを用いて線形回帰の変数選択問題を解くことを考える．SICMは(L0ノルムを含む目的関数である)情報量基準を連続的に最小化してモデルの自由度を自動的に決定するアルゴリズムであり，これまでにロジスティック回帰及びその混合に対して適用された．本稿の目的は以下の二つである: (1) 線形回帰モデルの情報量基準を連続的に最小化することで変数選択を実行する手法を提案する; (2) その手法を用いて実験を実行し，Lasso(スパース推定による変数選択)と同等以上の精度で且つよりスパースな解が得られることを示す．