(1+1)-Evolution Strategyの凸二次関数における収束速度の導出

抄録

一般に，確率的な最適化アルゴリズムでは，決定的な数理最適化アルゴリズムのような，収束の理論的保証が困難であることが知られている．本研究では，連続値ブラックボックス最適化アルゴリズム(1+1)-Evolution Strategy (ES)の，一般の凸二次関数およびその単調増加変換上における収束速度に対して，理論的保証を与える．ここで収束速度とは，探索点と最適点までの距離の，各アルゴリズムステップにおける減少率である．主たる結果として，最悪収束速度が，ヘシアンの最小固有値と固有値の総和との比で表現されるオーダーであることが示される．これは，凸二次関数の一部における既知の結果の拡張と言える．加えて，一般に悪条件最適化問題の指標とされるヘシアンの条件数だけでなく，各独立変数に対する目的関数値の感度であるヘシアンの固有値の分布によっても，(1+1)-ESの収束速度が変化することを理論的に示唆する，初めての結果である．さらに，同関数クラスにおける最良収束速度が，探索空間の次元数の逆数で表現されるオーダーであることを示す．これは，凸二次関数の一部における既知の結果の，次元数における拡張と言える．