第22回 汎用人工知能研究会
Foundation Modelに関する技術動向
2022 年 2022 巻 AGI-022 号 p. 14-
詳細
2022 年 2022 巻 AGI-022 号 p. 14-
2021年頃に登場したFoundation Modelという単語は，従来のように個別のタスクに仕立てたモデルを作るのではなく，単一のモデルを多様な後続タスクに適用可能となっている深層学習のパラダイムを表した言葉である．この傾向が特に顕著なのは言語（GPT-3，PaLMなど）であるが，マルチモーダル領域におけるImagenやCLIP，強化学習領域におけるGatoなど多様な領域で同様のアプローチを取った研究が行われている．Foundation Modelは一般にデータ・モデル両面のスケールと同時に語られることも多く，モデルサイズ・計算量・データサイズと性能の関係に関する経験則（Scaling Law）や，モデル規模が拡大した際にのみ発現する能力の存在などが報告されている．本公演ではこれらの技術的な動向について概観し，今後の展望について述べる．
