AGIの制御可能性について

抄録

「AGI(人工汎用知能)」とは、人間と同等あるいはそれ以上の知能を持ち、多様なタスクをこなせる汎用的な AI を指す概念で、従来からあるタスクに特化した特化型 AI(narrow AI) と対比される。 近年の急速な発展を考えると、AGI と呼びうる AI は今後数年以内に実現するという見方もある。し かし、何を持って AGI が達成されたとするのかについて、全ての専門家が合意する決まった定義は存在しない。マーカス・ハッターらは、Legg-Hutter intelligence という数学的な定式化を提案している。これは、知能を「あらゆる環境において目標を達成する能力」として捉え、環境からの報酬を最大化する能力として定量化するものである。Legg-Hutter intelligence が最大の "理想的" な AI を「万能 AI(Universal AI)」と呼ぶ。万能 AI はあらゆる計算可能な環境に対してベイズ最適にふるまう強化学習エージェントである。AGI そのものを数学的に厳密に定義することが困難な現状において、万能 AI は AGI の理論研究の道具としてよく使われる。今回 、我々は論文「Universal AI maximizes Variational Empowerment」(林、高橋、arXiv:2502.15820) において、万能 AI の一つのモデルである Self-AIXI の正則化項が変分エンパワメントと一致すること、また自由エネルギー原理とも同等の特性を持つことを発見した。エンパワメントはエージェントの内部状態あるいは行動と次のセンサー入力との相互情報量として定義され、「自分が取りうる行動の多様性と影響力」を測る指標である。従来、AGI セーフティーの観点では「AI が権力追求行動(パワーシーキング)に走るのは最終的な報酬を得るための "道具的" 戦略だ」と理解されてきた。しかし、我々は今回新たに「好奇心や自己目的的な探索などの内発的動機自体がパワーシーキングを促す可能性がある」ことを示した。これは、例えば一見無害そうに見える「科学的探究・真実探究のみを目指す AI」であっても、より多くの実験装置や計算リソースを確保し、行動の選択肢を増やすために権限や資源を集める、といったパワーシーキング的なふるまいを生む可能性を意味する。