MLパイプラインにおける動的リソース割当システムの開発

抄録

様々な機械学習モデルが実用的に利用される社会において，データの加工から学習・推論の一連の流れである機械学習パイプライン（MLパイプライン）の重要性が増し，MLパイプライン管理プラットフォームの開発が進められている．本プラットフォームは，機械学習の学習・推論処理において，MLパイプラインのプロセスごとに計算リソースを割り当てて実行される．しかし，現在のプラットフォームはMLパイプラインが利用するCPUやメモリなどの計算リソースを事前に設定しておく必要があり，実態の計算リソース利用量を考慮できず，過剰に確保してしまう課題がある．本論文では，MLパイプラインにおける各フェーズで利用されるリソース量を動的に予測し，必要最低限の計算リソースでMLパイプラインを実行するシステムを提案し，転移学習を対象に計算リソース利用の効率性を評価する．