ハイパーパラメータ最適化のための凸最適化理論とアルゴリズム：AutoMLでの活用へ向けて

抄録

機械学習の多くは最適化問題として定式化されるが、実際には、最適化問題に付随するさまざまなパラメータ（ハイパーパラメータと呼ばれる）が存在しており、ハイパーパラメータのチューニングも必要となる。ハイパーパラメータの候補を用意し、それぞれのハイパーパラメータごとに最適化を行うナイーブなアプローチでは、多くの最適化問題を解かなくてはならず計算コストが増大してしまう。凸最適化の分野では、ハイパーパラメータを変化させたとき、最適解がどのように変化するかを研究する分野があり、この分野で確立された技術を用いることで効率的にハイパーパラメータチューニングを行える。現在の人工知能システムの主流である深層学習は非凸最適化問題であるため、これらの凸最適化の技術をそのまま利用することはできないが、解の局所的な振る舞いを局所凸近似することにより、凸最適化理論・技術を非凸最適化のハイパーパラメータチューニングにも活用できる可能性がある。本講演では、凸最適化理論に基づくハイパーパラメータチューニングの理論とアルゴリズムを紹介し、これらの技術の深層学習への活用を議論したい。