GPT-4による足し算実験から示唆されるLarge Language Modelsの課題

抄録

本論文では、OpenAIのGPT-4の10桁の加算能力を評価する。多種多様なタスクに対応可能なGPT-4は、10桁の加算に対して60%の正答率に留まることが確認された。ステップバイステップの加算過程を示すプロンプトの追加による正答率の向上は確認できなかった。これは、LLMが異なる概念から共通性を抽出する能力に欠けていることを示唆しており、LLMの進化に重要な示唆を提供する。