編按:本文綜合整理自 Anthropic 官方研究部落格(Frontier Red Team,2026 年 10 月 22 日)、Theorem 合作方說明,並加入 Siami 編輯部觀點與分析。文中數據與技術細節均引述自 Anthropic 原始發表內容。
Linux 核心——當今測試最密集、部署在數十億台裝置上的軟體——近期光是揭露的漏洞就超過一千個。當模型越來越擅長把看起來各自無害的 bug 串成關鍵 exploits,光靠「找出並修掉所有 bug」已經不夠,真正缺的是一個證明:這段程式碼在所有輸入下都不會崩潰。
形式化驗證一直是那個答案,但代價高得離譜。seL4 作業系統核心花了兩個人年實作,正式驗證卻花了二十個人年。這條路過去只鋪在波音、空客的航電程式上,因為只有那種地方算得起來。
Anthropic Frontier Red Team 攜手驗證新創 Theorem 的成果,把這個結論推倒重來:Claude 在幾週之內完成了 123 個開源函式庫、239 個 fuzz 測試入口點的機器碼層級證明,總計約 1.8 億行 Rocq 證明碼。單一證明平均約 60 萬行,而它保護的執行檔中位數只有 18,000 條 RISC-V 指令。
關鍵在於「拿現成的測試當規格」
形式化驗證的第一道門檻不是證明難,而是「什麼叫做正確」很難寫清楚。PNG 解碼器可以照 RFC 2083 定義行為,但一個文字編輯器或瀏覽器要怎麼形式化?
Anthropic 的解法是繞開這個問題:不硬寫規格,而是把函式庫本來就有的、跑得起來的測試套件自動轉成規格,編碼成一句話——「這套測試永遠會通過」。
底層則用 Theorem 提供的 RISC-V 指令集語意與 Linux 行程語意,把編譯出來的機器碼轉成數學模型。Claude 負責寫證明,Rocq 核心負責檢查證明是否真的滿足規格。
驗證的命題是:對任何小於 64 MB 的輸入、在任何被建模的 OS 回應與記憶體配置下,這些程式都會正常結束,不會觸發記憶體安全錯誤,也不會失敗於 assertion。
這一步的意義在於,一旦這個命題被證出來,那個入口點的 fuzz test 從此就不需要了——不是「跑得夠久所以沒抓到」,而是「數學上不可能再抓到」。
值得留意的是,開發者真正需要信任的東西只有三樣:RISC-V 與 Linux 行程的形式化模型、被證明的定理敘述本身、以及 Rocq 證明檢查器。那 1.8 億行證明碼幾乎沒有人工審閱的必要。
挖出的 bug 都是 fuzzer 難以碰到的類型
幾週的證明過程中,Claude 修掉了它找到的 bug 再繼續證明,最終得到「這個入口點沒有崩潰可找」的結論。過程中浮現的數百個 bug,有幾個特別說明問題:
- 一個解壓器裡的 counter underflow,會導致越界寫入,但只在約 20 MB、特定罕見記憶體布局的輸入下才會發生
- 某個影像解碼器的越界讀取,需要 64 MB 輸入加上超過 2 GB 的記憶體
- 另一個函式庫的越界讀取,需要跨兩個檔案 handle 的特定呼叫順序
- 重現了 libexpat 的 CVE-2026-56132,需要深度嵌套的輸入
- 還有完全不會崩潰的邏輯 bug:某個限制應用程式可載入哪些檔案的功能,並沒有每次都被強制執行
原因不難理解。傳統 fuzzer 靠突變小型輸入(通常上限 1 MB)並以程式碼覆蓋率引導搜索,而上述那些 bug 需要的輸入規模與形狀,遠遠落在隨機突變的有效範圍之外。
為什麼這件事重要
形式化驗證過去的應用模式是「先寫規格、再寫實作、最後寫證明」,這條路徑要求整個團隊從第一天就用另一種思維方式工作。Anthropic 這次證明的是另一種模式:拿既有的測試當規格,直接對最終機器碼下手,不必把整個程式庫改寫成另一種語言。
這對供應鏈安全有直接意義。絕大多數專案根本不可能僱用形式化方法專家,但每一個專案都已��寫了測試。測試從「有限的信心」變成「完整的保證」,中間的成本差距被 Claude 壓縮掉了。
成本下降的趨勢也有數據支撐。以 36 個真實 OSS-Fuzz 驗證任務測試,Opus 5.5 完成一半任務比 Opus 5 少用約 40% token。另外讓 agent 共用一個證明工作區、可以互相複製彼此的證明後,整體再省下 17% token,部分 agent 還在獨力嘗試時失敗過。
這個複用特性跟 Lean 的 Mathlib 是同一個道理:Mathlib 累積近 30 萬條定理、由超過 700 位貢獻者提交,每一條新證明都建立在既有成果上。Anthropic 團隊在 OSS-Fuzz 專案中也觀察到同樣現象——證明碼的大部分內容是每個程式都有的東西(特別是 C 執行環境與 AddressSanitizer 的初始化),不同程式之間的證明因此高度重疊,團隊直接複製別人完成的證明再改寫。
依賴關係又遵循冪律:只要證明少量共用函式庫,就能讓一大片軟體變得可證。Theorem 已公開規劃驗證整個 Nix 生態系,其中包含 glibc、OpenSSL、cURL 這些關鍵基礎設施。
數據解讀與質疑
Anthropic 在文末自己列出的三項限制,值得原樣記下:
第一,證明對象是單執行緒、靜態連結的 RISC-V 二進位檔,而大多數人實際跑的是 x86 或 ARM、動態連結 glibc。這個落差要補上,得先產生準確的 x86 語意——他們真的做了,並且在過程中從官方參考文件裡找出數百處錯誤。
第二,ASan 並不能偵測所有記憶體安全 bug,而且每個函式庫並沒有驗證所有入口點,全部入口點驗完也不等於整個函式庫被覆蓋(死程式碼會被漏掉)。真實程式也可能誤用函式庫,讓記憶體毀損發生在呼叫端。
第三,也是最容易被略過的一點:Claude 可以證明一個編譯後程式的行為滿足形式化規格,但證明檢查器無法判斷規格是否符合現實。也就是說,「形式化驗證過」不等於「沒有 bug」,兩者之間永遠隔著規格本身的正確性。
成本面也有硬傷。一份證明可能耗掉數億 token,這距離「全生態系都用得起」還有距離。Anthropic 的說法是效率會隨模型進步而改善,但那是趨勢推論,不是已解決的問題。
另外還有一個方法論上的誠實提醒在腳註裡:這套流程留了 reward hacking 的門。Claude 理論上可以把程式改寫成永遠不會崩潰的版本來讓命題成立。Anthropic 的做法是對每一個 patch 施加懲罰、對「說明改了哪些輸入、數量多少」給額外加分,並逐一稽核這些 patch——這是好榜樣,但也代表整套流程仍需要人工把關。
Hacker News 的討論則把矛頭指向更遠的地方。幾位網友認為,紅利的真正終點可能不是「驗證更多命令式程式碼」,而是語言本身的改變:既然模型擅長的是有明確規格的東西,人類遲早會放棄命令式寫法,轉向為 LLM 設計的宣告式語言。另有網友從附錄的角度提醒,agent 寫出來的證明冗長而缺乏模組化,其他 agent 驗證專案(如 MachCSL)已在類似的複雜度牆上撞牆,要往上推就得先把證明的結構品質做出來。
延伸閱讀與延伸研究
- Anthropic 官方研究全文(含完整附錄與可信元件釋出):https://www.anthropic.com/research/formal-verification
- 相關學術背景:Supporting Software Formal Verification with Large Language Models(arXiv):https://arxiv.org/html/2507.04857v1
- Theorem 實測 Claude 形式化驗證的經驗談:https://blog.succinct.xyz/formal-verification-with-claude/
- Anthropic 網路安全驗證計畫(Cyber Verification Program)脈絡:https://www.anthropic.com/news/cyber-verification-program
網友熱門留言 (7)