世界モデルにおけるモデルサイズに対するスケーリング則

抄録

深層学習の発展に伴い、コンピュータビジョンや自然言語処理の分野において、大幅な性能向上が見られる。これらの発展において、モデルサイズ、データセットサイズ、学習に使用する計算量に対して、モデルの性能が指数関数的に変化することを示すスケーリング則が大きな役割を果たしている。これらのスケーリング則は、画像分類、画像生成、自然言語処理タスクなど、様々なタスクで成立することが報告されている。しかし、スケーリング則が長期的な予測を伴うタスクに有効であることはまだ確認されていない。本研究では、モデルサイズの観点から世界モデルにスケーリング則が成立することを調査した。CARLAデータセットを用いた行動条件づけ動画予測タスクにおいて2つの世界モデルのモデルサイズを大規模化する実験を行い、オートエンコーダの大規模化を含む場合に損失関数が指数関数的に減少し、スケーリング則が成り立つことを検証した。