編按：本文綜合整理自 Mithil Vakde 個人部落格、GitHub 開源程式碼，以及 Hacker News 討論串，並加入 Siami 編輯部觀點與分析。

用 0.67 美元在 ARC-AGI-1 上達陣 44%

獨立工程師 Mithil Vakde 用一張 NVIDIA RTX 5090 顯示卡，花 1.5 小時訓練一個從零開始的小型 Transformer，就在 ARC-AGI-1 公開測試集拿下 44% 正確率——這個分數與 TRM、HRM 兩種「遞迴推理」模型並駕齊驅，卻比多數大型語言模型（LLM）更高，而且整體訓練加推論成本只要 0.67 美元。這是 Vakde 這個系列的第三篇文章，前兩次結果曾在 X 上被頂尖研究者廣泛轉發，包括 Lucas Beyer、Jeremy Howard、Rohan Anil 等人。

這個結果也刷新了他自己先前 27.5% @ $2.12 的紀錄，把成本壓到原來的 1/3，分數卻提升 16 個百分點。

為什麼要研究這個？

Vakde 認為樣本效率（sample efficiency）是當今 AI 領域最重要的問題。這次研究的目標有兩個：

找出在純 Transformer 架構下，樣本效率的極限
把單次實驗成本壓到極低，讓任何人（即使預算有限的 GPU 貧戶）都能跑這個 benchmark

ARC 是測試樣本效率的理想場域：

只有 1000 個謎題，但每個都是高維度空間中的獨立任務
它是「元學習」（meta-learning）基準：每個謎題用不同規則，但共用一些基本概念
對人類極簡單、但對 AI 極難
對資源不足的研究者也很親和——一張消費級顯卡就能跑
這個榜單到 2026 年仍未飽和（若忽略使用大量合成數據或人類歸納偏誤的 LLM 方法）

這也是為什麼儘管 ARC-AGI 設立了 100 萬美元獎金、開放 6 年，卻始終沒有人能接近人類水平——直到 Vakde 證明了純 DL 路徑的天花板比大家想像的高得多。

怎麼做到的？

整體方法延續他前一版的工作（完整技術細節見 Blog 2），核心概念：

每個「輸入-輸出」對會被轉成 token 序列，由一個小型 Transformer 自迴歸訓練
測試時從零開始訓練，對訓練組與評估組謎題都跑（評估組的答案標籤是隱藏的）
每個謎題有獨立的「加性 embedding」讓模型能跨任務學習
由於輸入是 2D 網格，位置編碼使用 3D RoPE（Rotary Position Embedding）
訓練時對顏色與二面體對稱做增強；推論時同樣增強後取多數決（AAIVR）

相較上一版的升級

改進類型	內容
架構現代化	SwiGLU 取代 GELU、RMSNorm 取代 LayerNorm
資料多樣性	加入 ARC-2 非重複任務（嚴格過濾避免洩漏）、更好的洗牌
模型規模	從 4 層擴到 8 層
降本關鍵	大幅減少增強次數、改用 NorMuon 優化器（取代 AdamW）、Flash Attention + varlen training
訓練目標	不再對輸入 token 訓練，只對輸出 token 做監督式學習——分數從 40% 提升到 44%

有趣的副作用

Vakde 點出一個反直覺的現象：測試損失（loss）變差，分數反而變高。這個發現挑戰了「樣本效率 = 最低驗證損失」這個主流假設，他認為這暴露了純損失導向方法的一個盲點。

在切換到 NorMuon 之前，他試過 vanilla Muon，發現訓練後期 loss 會「閒晃」不收斂。雖然可以靠手動調低動量或學習率解決，但他覺得不漂亮——NorMuon 直接把這個問題消除了。

消融實驗：哪些改動真的有效？

Vakde 把這版成績歸功於「好的表徵學習」，最關鍵的兩個元件：

3D RoPE 位置編碼：拿掉後分數從 44% 掉到 24%
每任務獨立 embedding：拿掉後同樣掉到 24%

其他消融實驗：

改動	效果
對輸入 token 也訓練	反而變差（~39%）
只用 ARC-1 + ConceptARC 訓練集	差不多（~40%）
3D RoPE → 1D	掉到 ~24%
拿掉每任務 embedding	掉到 ~24%
CompressARC 風格（每任務獨立、從零、無監督）	~18%
CompressARC + 監督式	~15%

關鍵結論：這個 benchmark 開放 6 年、獎金 100 萬美元，結果答案其實只是「最直覺的 Transformer 表徵」——但所有人都跑去研究遞迴、harness、合成資料，反而忽略了基礎 DL 的力量。

質疑與爭議回應

Vakde 上一版結果公開後，在 X 上引發大量頂尖研究者的辯論，包括 Jeremy Howard、Lucas Beyer、Susan Zhang、Andreas Steiner、Yoav Goldberg 等人。他把所有質疑與回應整理成 FAQ，這裡摘錄重點：

「你在測試集上訓練，這算作弊吧？」

不，這是錯誤理解。「訓練測試集」特指訓練測試標籤（label），他的模型沒有看到任何測試標籤。ARC 是元學習基準，本來就允許（甚至鼓勵）模型在測試謎題上學習模式，只是不能看答案。

「用測試輸入做 transductive 也算洩漏吧？」

這種做法叫 transductive reasoning，從 Vapnik 時代就被研究了。在當代 continual learning 研究中也很常見，並不違規。而且在新版 44% 結果中，連測試輸入的訓練都拿掉了，分數反而更高——代表這個疑慮在新版已經無關。

「這違反測試政策吧？」

政策原文是「test taker must not know what the test will be」，指的是「人類設計 AI 系統時不能針對評估集設計歸納偏誤」，不是禁止 AI 在測試時學習。ARC 社群一直允許並鼓勵 test time training（TTT）。

「你只算了推論成本，沒算訓練成本吧？」

他列出的是完整生命週期成本——包含從初始化訓練到所有任務推論的總開銷，合計 0.67 美元（vast.ai 上 5090 跑 2 小時的價格）。

「同時訓練所有測試任務，跟人類考試方式不同，這現實嗎？」

這個批評有道理但被過度延伸。人類一次只能寫一題，不代表 AI 不能平行學習所有任務——否則 LLM 也是「不現實」的，因為人類沒辦法讀整個網際網路。

「你用 cost-per-task 比較模型不公平吧？」

他承認這是公平的批評。新版改用 lifetime compute cost 比較，而且只跟 TRM、HRM、CompressARC 比，不再跟 LLM 比較——因為 LLM 有大量離線預訓練成本沒被算進去。

對 ARC-AGI 這個榜單本身的批評

Vakde 對榜單本身也有幾項批評，Siami 認為這些批評值得重視：

既然純 DL 已被證明可以在 ARC-AGI 上做得很好，就應該禁止合成資料——這違背榜單精神，而且大多數頂尖分數都依賴大量合成資料。

他建議：

禁止離線預訓練——模型必須從零開始訓練，徹底杜絕合成資料
分開不同類型模型的排行榜——LLM（有大量預訓練）vs TTT 模型（從零訓練）vs 其他方法，混在一起比沒意義
修正測試政策文字——避免社群誤解為禁止 TTT

這也是為什麼這篇結果重要：它證明了「從零訓練」這條路徑可以跟「重金預訓練」的效果一樣好，對 sample efficiency 領域是個強心劑。

🚨 為什麼這件事重要

這不只是「一個工程師在 Hacker News 上炫技」，而是 AI 領域 2026 年最重要的幾個訊號之一：

1. LLM 並非唯一路徑

過去兩年，業界普遍認為「AGI 就是更大 LLM」。Vakde 用一張 5090 跑 1.5 小時，就達到了跟 TRM、HRM 同等的成績——這些模型原本被視為「遞迴推理的未來」。他的結果證明：純 Transformer 配上正確的表徵，就能做到一樣的事。

2. 樣本效率的真正天花板還沒到

他的消融實驗顯示，這個模型還遠沒碰到樣本效率的天花板。他預期 65% 在現有框架內就能達到。要達到「人類水平」也許還需要新想法，但目前的 LLM 路線明顯不是唯一解答。

3. 開源、可重現、可負擔

整個訓練 + 推論只要 0.67 美元，任何人都能在自家顯卡上重現。原始碼開源（GitHub: mvakde/mdlARC），沒有任何依賴大型基礎模型的雲端成本。這對 AI 民主化的意義，比單純分數提升更重要。

🚨 數據解讀 / 質疑

為什麼這個分數值得懷疑？

雖然結果振奮人心，但讀者仍需注意幾個限制：

公開榜單 vs 私人榜單：ARC-AGI 有公開（public）與私人（private）兩組評估，這個 44% 是公開組。許多 LLM 在公開組分數高，但私人組崩盤——因為私人組的答案沒在網路上洩漏。真實的「樣本效率」要看私人組。
「訓練測試輸入」爭議沒完全消失：雖然新版拿掉了輸入訓練，但整體方法仍是在 test time 對測試任務做學習。這對「通用 AI」意義有限，但對「meta-learning / few-shot」研究很有參考價值。
TRM/HRM 的「7M」宣傳：Vakde 也批評 TRM 自稱 7M 模型時，實際上有 O(100M+) embedding weights 在訓練——這讓模型更像是 lookup table。他的小型 Transformer 不存在這個問題，但讀者仍應理解「模型大小」的定義在不同論文間不一致。

對「LLM 路線」的影響

這不會直接威脅 LLM 的市場地位——LLM 在通用對話、寫程式、多任務泛化上仍遠勝純 ARC 模型。但對「樣本效率」這個 AI 真正核心的問題，Vakde 的工作指出了一個重要可能：也許現有 LLM 架構就夠了，只是大家沒找到正確的訓練方式。

用 0.67 美元在 ARC-AGI-1 上達陣 44%：獨立工程師的小型 Transformer 擊敗大型 LLM