← 返回 Siami 首頁

ARC Prize 親測 GPT-6 Astra:99.9% 高分背後 同一模型、兩種介面差距竟達 37 個百分點

▲ 108 💬 53
ARC Prize 親測 GPT-6 Astra:99.9% 高分背後 同一模型、兩種介面差距竟達 37 個百分點

編按:本文綜合整理自 ARC Prize 官方部落格、ARC Prize 結果頁、Hacker News 討論串(148 則留言),並加入 Siami 編輯部觀點與分析。

GPT-6 Astra 在 ARC-AGI-3 Semi-Private 測試中,使用 ARC Prize 標準介面(Standard harness)拿下 62.7% 分數、耗資 26,000 美元;若改用 Provider Adapter 介面(保留內部推理狀態、透過壓縮延長對話),則衝到 99.9%、耗資 19,000 美元——同一個模型,分數差距竟達 37.2 個百分點。

GPT-6 Astra 在 ARC-AGI-3 的「行動效率」上已經超越人類基準。它在 96% 的關卡中,使用步數比受測人類的中位數還要少。GPT-6 Astra 展現出最關鍵的一個行為是:它會把陌生的環境,壓縮成精簡的符號化世界模型。它把遊戲機制寫成邏輯規則,還自己發明了一套領域專用的速記語言,來追蹤狀態、規劃下一步動作。


兩種介面,兩個完全不同的分數

很多人看到 OpenAI 發表 GPT-6 Astra 時喊「AGI 到了」,依據的是 98.5% / 99.9% 這個數字。但 ARC Prize 這篇部落格把場景拉回來:他們自己設計的兩個介面,跑出來的結果差距極大。

Standard 介面讓模型可以自行選擇要保留哪些筆記、帶到下一輪環境互動中。

Provider Adapter 介面會在 API 請求之間保留不透明的內部推理狀態,並在對話拉長時透過 compaction(壓縮摘要)保留先前的工作,讓模型可以重複使用先前的成果。

Standard 介面:Astra(max)拿下 62.7%、耗資 26,000 美元。

Provider Adapter 介面:Astra(max)衝到 99.9%、但只花 19,000 美元。

也就是說,介面設計本身就是成績的一部分。這跟 OpenAI 自己七月發表的〈How enabling two settings tripled our scores on the ARC-AGI-3〉那篇研究是同一條線——光是「保留推理」+「對話壓縮」兩個設定,就讓 GPT-5.6 Sol 在 ARC-AGI-3 public 集從 13.3% 拉到 38.3%。


符號化世界模型:模型自發的「代數速記」

Astra 在玩 s5i5 這關時,它開始為環境發明自己的速記語法。這類行為在過往其他模型也曾出現,但 Astra 的筆記在精準度與資訊密度上特別突出。它把整個場景濃縮成一段精簡的「類程式碼」符號模型:物體在哪裡、彼此怎麼互動、接下來該依什麼順序做哪些動作。

這是一種「即興代數速記」,而不是一套完整的程式語言。幾個範例:

Game state: L8: hub q2 (8↓). Lengths: 14=1…

記錄關卡編號、本地旋轉索引、以及機制長度。

Multi-step plans: extend8 to3; retract10 to2; shorten8 to1

記錄對 color-8 與 color-10 機制依序要做的一連串改動。

Controls and coordinates: 9−=(39,4), rotate=(49,18), 14+=(59,11)

把操作對應到執行它們的控制點座標。

Time and position: Turn 5: P=(24,20), empty, facing west

把回合計數、玩家位置、攜帶狀態、還有朝向綁在一起。

這顯示一個關鍵能力——模型不只是「解題」,而是把環境抽象成可操作的內部符號系統。


行動效率:96% 關卡贏過人類中位數

在 ARC-AGI-3 上線前,ARC Prize 請了大約 500 位一般民眾做測試,建立「人類行動效率基準」——也就是:人類平均花多少步數解出每個關卡?參與者並未經過解題經驗或能力的篩選。

每一關的「人類基準」定為「完成該關的人類中位步數」。在 Provider Adapter 介面下:

  • Astra(max)在 96.0% 的關卡用的步數比人類基準少
  • 平均每關少用 51.7% 的步數

這是一個實質的里程碑。也就是說,以 ARC-AGI-3 的行動效率指標來看,Astra 已經追上、甚至超越人類水平。

順帶一提,ARC Prize 自己原本的假設是「行動效率會一直是人類與 AI 的界線」,結果前沿 AI 反而呈現「一旦理解,就直接落到人類效率範圍」這種二元式型態。


Agent 介面裡的自製工具

研究團隊也在 PRO-LONG 介面(ARC-AGI-3 早期紅隊合作夥伴開發的論文)下評估 Astra——在這個進階設定中,Astra 可以存取一個能跑自訂程式碼的沙盒。Astra 展現出為每一款遊戲自製工具的能力:盤面解析器、遊戲狀態模型、搜尋演算法、規劃器、還有持久化的筆記。在更複雜的關卡裡,Astra 甚至會產出小型、針對單一遊戲的軟體庫。

例如在 tu93——一款有守衛與巡邏兵的迷宮遊戲——Astra 從導航開始,建立了 maze_solver.py。它在 combat_solver.py 加上戰鬥規則,在 patrol_solver.py 為巡邏兵建模,再用 sync_state.py 把預測跟觀察對起來檢查。

這比「解題」更深一層——是模型自主生成針對單一問題的軟體工程產出。


為什麼這件事重要

99.9% 不是終點,介面才是關鍵。OpenAI 自己 7 月就公開承認,單純打開「保留推理」+「對話壓縮」兩項設定,分數就直接翻三倍。如果把同一邏輯攤開來看,「基準測試分數」這個概念本身正在被重新定義:未來任何模型廠商要宣稱某個 benchmark 拿到 SOTA,都必須同時公開介面、推理預算、還有是否允許 opaque state retention。

行動效率這個維度,比「會不會解」更有意義。過去多數基準只測「成本效率」(用了多少運算資源),但 ARC-AGI-3 測的是「需要多少跟環境互動的經驗」。Astra 在 96% 關卡上贏過人類中位數,這代表它學得比人類更有效率——這是 AGI 定義裡的核心指標之一。

NVIDIA 早已達標 100%。在 Astra 之前,NVIDIA 的 AVO 已經在 ARC-AGI-3 拿到 100%,但用了一個高度客製化的 agent 架構。所以「99.9% vs 100%」這場比較,要回到介面一致性才有意義——ARC Prize 這次把兩種介面都跑出來,就是為了讓這個比較變得公平。


數據解讀與質疑

  • 99.9% ≠ 100%:99.9% 看起來逼近天花板,但 ARC-AGI-3 本質上設計成人類 100% 可解。在「還有 0.1% 沒解」這個差距上,要繼續壓榨分數的成本會急速上升。
  • 介面是模型能力的一部分還是作弊? HN 上 @an0malous 提出質疑:OpenAI 有沒有事先拿到題目,才能針對特定關卡客製介面?ARC Prize 部落格沒有完整回答這個問題,但公開的測試環境是盲測的 Semi-Private set——這個保證需要進一步檢視。
  • $19K vs 人類 $12.78:每場遊戲 Provider Adapter 花 19,000 / 167 ≈ $114,跟人類約 $12.78 的報酬比起來還貴了將近 9 倍。但若以「模型 + 工具」這個組合的整體表現計算,搭配 token 用量年減 49% 的趨勢,兩年內跌破人類成本是合理預期(HN @modeless 已經算了)。
  • 為什麼用 Erdős 開放問題當另一個量尺? 因為開放問題無法「背答案」,可以避免模型在訓練資料上 leak 已公開解法。GPT-6 Astra 在 68 題中只解了 2 題(其中一個用反例推翻),這才是真的能力檢驗——不是 benchmark 數字遊戲。
  • AGI 的定義被悄悄改寫:OpenAI 自己把 AGI 定義成「以人類效率學會任何人類能學會的技能」,然後 Astra 已經在行動效率上贏過人類中位數——但這距離「學會所有人類能學會的技能」還非常遠。距 AGI 還有多遠,目前數字本身沒有給答案。

延伸閱讀

網友熱門留言 (5)

#1 Hacker News 用戶 at1as ▲ 247
Erdős 問題當基準不錯——模型還在解,但低懸果實吃完後進度就慢了。GPT-6 Astra 在 68 題中只解了 2 題(74 號用反例推翻、126 號證明),合計花 5 題解題 + 全部嘗試超過 22 萬美元。
#2 Hacker News 用戶 piloto_ciego ▲ 132
99.9% with the right harness? 我們到 AGI 了。預測:目標線會往「人類比較便宜 / 比較有效率」移動,撐幾個月,直到有人發明新測試、人類簡單 AI 困難——這個循環會永遠跑下去。
#3 Hacker News 用戶 an0malous ▲ 87
OpenAI 之前能跑 ARC-AGI-3 測試嗎?這樣就能針對特定關卡客製介面。即便用 Standard 介面,只要事先看過題目,就能用監督式強化學習把模型教到專門解這些題。
#4 Hacker News 用戶 modeless ▲ 64
$360 per puzzle。人類測試時大約每題 10 分鐘。如果價格 / 性能繼續按現在的速度掉,兩年內就會低於美國基本工資人類的成本。
#5 Hacker News 用戶 fxd ▲ 58
『AGI』這詞對我一直沒意義——它就是個純行銷詞。意識跟智力不同,我們醒著的意識對生命是個完全的謎,但『知識、因此智力』這些大模型正在被解決。