規則性理解と外挿能力を評価するための足し算

抄録

本論文では、足し算を始めとする四則演算のような初等的算術が、汎用知能の実現に重要と考えられる外挿能力を測定するためのベンチマークとして有用であると議論する。足し算の理解とは、一桁同士の足し算のルールの記憶と適用、および繰り上がりルールの習得によって、任意の桁の足し算を実行できることであろう。足し算の代数的構造を明らかにするのに十分な少数のデータを訓練データとして用意し、多数桁の演算を要求するテストデータで精度を測定する。我々のベンチマークは、認識課題や強化学習で通常用いられるデータセットと比べて、データの生成、難易度調整や拡張、帰納バイアスの特定などにおいて利点がある。更に我々は、任意の桁に対して正しく計算できるシステムには、抽象化や既知の利用が要求されるのではないかと推察する。最後に、これらの洞察の下、外挿能力を持ったシステムの開発に関する今後の方向性を提案する。