VideoGPTのデータセットサイズに関するスケーリング則

抄録

過去10年ほどで，深層学習技術は自然言語処理や画像処理分野を含む様々な分野で大きく成功してきた．この成功の背景には，大規模な計算資源で大規模なモデルの学習が可能になったことがある．実際近年の多くの研究において，言語モデリングや画像生成を含む様々な生成タスクで，Transformerを用いた大規模モデルが性能を発揮している．そのような大規模モデルを効率的に学習するためには膨大なデータが必要であり，多くの分野で大規模データセットの構築が進められている．しかし，CARLAなどのシミュレータ環境やRoboNetなどのデータセットの整備の進展にも拘わらず，環境の空間的・時間的表現の獲得を目的とする世界モデルのデータセットサイズに対するスケーリングについては十分に研究されていない．そこで本研究では，世界モデルのデータセットサイズに対するスケーリング則を実験的に検証した．モデルにはVideoGPTを使用し，データセットはCARLAシミュレータで作成した．さらに我々は，パラメータ数が10⁷のオーダー以上で計算量が制限される場合は，計算量をデータセットサイズの拡大に使うことが効率的であることも確認した．