← 返回 Siami 首頁

Cloudflare 員工資料外洩事故:155 筆 AI 回應混入他客戶提示詞,官方承認上線前就知道容量設定有落差

▲ 146 💬 47
Cloudflare 員工資料外洩事故:155 筆 AI 回應混入他客戶提示詞,官方承認上線前就知道容量設定有落差

編按:本文綜合整理自 Cloudflare 官方部落格〈Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang〉、SGLang/LMSYS 官方部落格〈SGLang security update: improving request isolation〉、dev.to:frankchu〈Cloudflare’s GLM-5.3 leaked other users’ prompts through its KV cache. I rebuilt the bug in 30 lines.〉、VulnCheck 公告 CVE-2026-111392(SGLang mm_hashes KV Cache Poisoning)、NDSS Symposium:〈I Know What You Asked: Prompt Leakage via KV-Cache Sharing in Multi-Tenant LLM Serving〉、X:@iCleanAI 的事件整理 與 Hacker News 討論串(146 分、47 則回覆),並加入 Siami 編輯部觀點與分析。

2026 年 10 月 26 日,Cloudflare、SGLang 團隊與資安研究者三方同時發布聲明,揭露出一件很少被公開的 AI 基礎設施事故:在 Cloudflare Workers AI 平台上,有 155 筆 AI 回應裡混入了其他客戶的提示詞內容。

事件本身不是被入侵、不是被挖礦,也不是有人寫了惡意程式。造成資料交叉流動的,是一個設定值之間的落差,加上一個開源推論引擎裡的邏輯錯誤。

真正值得寫下來的地方在於:Cloudflare 在自己的事後報告裡寫下了一句關鍵話——「We were aware of this mismatch before launch.」(我們在上線前就知道這個落差。)他們測過長上下文、拿到的 HTTP 狀態碼都是 200、串流看起來也正常,於是就這樣上線了。


兩個問題疊在一起才會出事

Cloudflare 沒有把這件事講成「單一漏洞」,而是拆成兩層,這個拆法本身就是這篇文章最值得學的部分。

問題一:Cloudflare 自己的設定錯配

Workers AI 上的 GLM-5.3 被設定為 1,048,576 token(100 萬 token)的 context window,但 prefill GPU 上實際的 KV cache pool 只有 681,280 token 的容量——只有宣稱值的 64.97%,中間差了 367,296 token。

關鍵在於這個 pool 大小不是設定檔裡的一個參數。SGLang 是在啟動時,用「載入模型權重之後剩下的 GPU 記憶體」去算出 pool 有多大。模型宣稱的 context length 是另外一個獨立設定值,沒有任何機制強迫這兩者一致。

Cloudflare 的測試方式,官方寫得很直白:長上下文測試回傳了成功的 HTTP 狀態碼跟沒有錯誤幀的串流內容,他們因此相信引擎「會用串流或某種機制優雅處理 context window 與 pool 的落差」。

事後他們自己承认了關鍵缺口:

這是我們測試上的一個嚴重漏洞:我們只在長上下文下驗證了 HTTP 回應碼與引擎效能,卻沒有驗證模型輸出與連貫性。

問題二:SGLang 引擎的 bug

單機部署下,超長 prompt 會被引擎回一個錯誤,這沒問題。但 Cloudflare 跑的是 disaggregated prefill/decode 架構:一批 GPU 負責 prefill(算 KV cache),另一批負責 decode(生成回應),中間透過 RDMA(Mooncake)把 KV cache 搬過去。

在這個模式下,SGLang 的 admission queue 檢查的是「請求是否結束」,而不是「請求是否被拒絕」。被拒絕的請求把錯誤存在 to_finish 而非 finished_reason,所以 finished() 仍然回傳 False——它被當成活著的請求放行了。

於是整個流程變成:

  1. Bootstrap:router 告訴 decode 端 prompt 長度是 8 頁。Decode 為這個請求保留 8 頁 KV。
  2. Prefill admission:被拒絕的請求因為 finished() 回傳 False 而被放行。
  3. Prefill forward pass:prompt 早就被換成 1 個 token 的 placeholder,prefill 只對這 1 個 token 跑了一次無意義的 forward pass。
  4. KV transfer:prefill 只送出 1 頁 KV,然後發出「transfer complete」。
  5. Decode admission:decode 端檢查的也是 finished(),所以它接受了這次交接。
  6. Decode attention:decode 開始生成,attention 讀取全部 8 頁。但只有 P0 是這次請求寫的,P1 到 P7 還留著前一個請求的提示詞與部分生成內容。

最後客戶拿到的是 HTTP 200 而不是 400、prompt_tokens 完全符合那個長 prompt、回應內容連貫、而且比 8 頁 prefill 應該花的時間更快——因為它確實只做了 1 頁的工作。

關鍵的一句話在 Cloudflare 報告裡:

Pages are not currently zeroed between requests; the next request that gets a page simply overwrites it.

KV cache 的頁面在請求之間不做清零。這是效能上的正常設計(清零很貴),但它意味著「沒被覆寫的頁面 = 上一個租戶的資料」。


155 筆回應,13 天,開發者 30 行重現

開發者 frankchu 讀完事後報告後,用大約 30 行 Python 把核心機制重現出來,結論比新聞標題更嚴重。

他的模擬裡,租戶 A 填滿 8 頁,租戶 B 的請求被拒絕、只寫入 1 個 token 的 placeholder,decode 卻照樣讀完 8 頁。結果是:

  • B 保留的頁數:8
  • B 實際寫入的頁數:1
  • 模型注意到的 token 總數:128
  • B 自己的 token:1
  • 來自租戶 A 的殘留 token:127(佔 99.2%)

frankchu 特別指出兩個容易被忽略的細節。第一,就連 B 寫的那一頁也洩漏了——placeholder 只覆蓋 page 0 的一個 slot,page 0 其餘 15 個 slot 仍然是 A 的 token。局部寫入不會清掉整頁,而整條 pipeline 沒有任何地方檢查「實際傳輸的 token 數是否等於 decode 保留的數量」。Cloudflare 的上游 PR #38704 補的就是這個檢查。

第二,觸發條件是可以用算式算出來的:任何落在 (681,280, 1,048,576] 區間的 prompt 長度都會踩到。

Cloudflare 的影響評估則是:受影響的是 8 月 27 日上線到 9 月 9 日修復之間、prompt 長度超過 681,280 token 的請求,總計 155 筆回應。官方明確表示,扣除自己測試與研究者測試後,剩下的請求在時間與數量上符合「一般的長上下文使用」,沒有發現刻意利用的跡象;且經過確認,Workers AI 上其他模型都沒有受影響(因為其他部署的 KV pool 都大於各自的 context length,根本走不到那條拒絕路徑)。

上面這部影片來自 NDSS Symposium 官方頻道,是 2025 年發表的學術論文,標題正是〈I Know What You Asked: Prompt Leakage via KV-Cache Sharing in Multi-Tenant LLM Serving〉。它的存在說明一件事:「多租戶 LLM 服務的 KV cache 會造成跨用戶提示詞洩漏」在學術界早就被研究並公開發表過,一年後才在 Cloudflare 的生產環境上實際發生。這不是一個沒人想到的問題,而是一個知道存在、卻沒有被納入部署檢查清單的問題。


修補:改設定只是止痛,改引擎才是治本

Cloudflare 的緊急處置分兩步,兩步都做了。

第一步是改設定:把 GLM 5.3 的配置調成與 GLM 5.2 一致,釋出足夠的 GPU 記憶體,讓 prefill KV pool 撐到約 204 萬 token——大約是 1,048,576 context length 的 1.95 倍。這樣合法的 prompt 永遠塞得進 pool,拒絕路徑根本不會被觸發。Cloudflare 自己也說得很直白:光靠 pool 大小來防守是脆弱的,因為量化方式、tensor parallelism、CUDA graph 大小或換個模型版本,都會讓 pool 大小產生容易漏看的變動。

第二步是修引擎:讓帶著「待拒絕」狀態的請求在 disaggregation admission queue 就被退役,帶著原本的錯誤回傳,在任何 bootstrap、記憶體配置或 KV 傳輸發生之前就結束。Cloudflare 把這個 patch 以 #38704 提案到上游。

上游 SGLang 團隊的處理速度也相當快:

修補版本作用
#36988v0.5.20在 prefill 結果送達 decode 前退役中止的請求,直接阻斷本次外洩
#38935v0.5.21更早在 admission 階段就拒絕這些請求,避免不必要的 bootstrap 與延遲
#39500v0.5.21新增 --disaggregation-enable-kv-checksum,decode 在生成前驗證 KV checksum
#37454 / #41023v0.5.21deferred KV release 轉為預設開啟
#43719 / #37077v0.5.22失敗的 Mooncake 傳送不再回報為已排空;abort 訊息加上 generation tag

Cloudflare 的官方建議是:所有跑在 disaggregated prefill/decode 模式的 SGLang 部署,一律升到 v0.5.22 或以上。

SGLang 團隊在自家文章裡還揭露了一個更廣的問題。同一份 KV cache 生命週期缺陷,在他們的架構裡有另一個變體:請求在傳輸途中被中止時,decode 端會立刻把那些 slot 釋回配置器,但如果已經發出的 RDMA write 還在飛,會直接落到下一個請求的 KV cache 上。他們在 2×H200 的實機上重現了這個競態:一個被中止的請求釋出 430 個 slot,受害請求剛好預配置在 [1..105],中止請求的寫入在 decode 中途落地——受害者的輸出從「數到 80」開始,轉成了中止請求的提示詞文字。

他們提出的解法是一個不等式:

T_hold > t_abort_propagation + t_remaining_chunks + t_in_flight_call

也就是說,decode 端必須「持有」被中止請求的 slot,直到確認所有寫入都已排空(或超時)。他們在 2×H100 上跑了 21 輪測試(1024 請求、併發 256),開啟或關閉這個機制的吞吐差異都在 ±2% 以內,所有 95% 信賴區間都跨過零;另一組 16 輪的 2×H200 測量得到 −0.38%(信賴區間 −2.12 到 +1.36,不顯著)。

SGLang 團隊最後把整件事收斂成四條規則:

  1. 永遠不要釋放一個非同步引擎可能還會碰到的 slot。
  2. 持有到收到正向排空訊號,或有界的超時。
  3. 讓每一種降級都只會延長持有時間,不會縮短。
  4. 把每個修補切得足夠小,讓它的回歸測試只證明一件事。

為什麼這件事重要

第一,這是「AI 服務的資料隔離」第一次有具體的失敗案例可以引用。 在此之前,「共用 GPU 上的 KV cache 會不會洩漏別人的資料」是一個假設性的威脅模型。NDSS 2025 的論文把它當成研究題目,Cloudflare 這次把它變成了一份帶時間軸、帶 PR 編號、帶影響範圍的生產事故報告。對任何要在多租戶環境部署推論服務的人來說,這份報告的價值在於:它證明這個威脅不是理論的,而且觸發條件簡單到只需要一個夠長的 prompt。

第二,「測試通過」和「測對了東西」是兩件事。 Cloudflare 測的是 HTTP 狀態碼與引擎效能,回應串流的 HTTP 狀態碼是 200、沒有錯誤幀、效能數字漂亮——唯一沒測的是模型輸出本身是不是這次請求的內容。如果那段長上下文的回應內容裡混入了別人的提示詞,而回應依然是連貫的、依然符合格式,那麼任何「檢查回應是否成功」的測試都抓不到它。這一點對所有做 LLM 服務的人都是直接可用的教訓。

第三,開源推論引擎的「預設值」正在變成真正的安全邊界。 這次事故的引擎端部分牽涉到至少 15 個 PR,從 v0.5.20 一路修到 v0.5.22。SGLang 團隊自己揭露,這類「KV cache 生命週期」缺陷在 PD 部署中從 v0.4.x 系列(2025 年初)就預設存在,一直到 v0.5.21 才修好——而且沒有任何錯誤、沒有任何日誌行可以讓部署者察覺已經發生過。Cloudflare 官方也明講:部署者沒有可靠的方法判斷自己是否已經受害。

第四,這把「能力宣告」變成了一個誠信問題。 HN 網友 segmondy 的提問最直接:「他們是宣傳 1,048,576 token,但實際只有 681,280 token 的容量嗎?」在預填/decode 分离的架構下,「模型支援多少 context」這個廣告數字,實際上是由三個獨立的東西共同決定的:模型權重、KV pool 大小、以及引擎的拒絕路徑是否正確。把 100 萬 token 寫進產品頁面,卻沒有機制確保 pool 真的有 100 萬 token 的容量——這個落差就是事故本身。


數據解讀:幾個被低估的細節

一、155 這個數字看起來很小,但洩漏比例接近 100%。 155 筆回應、13 天、單一模型——從營運角度看是小型事故。但把攻擊者視角換過來:任何一位把 68 萬 token 以上的 prompt 送進 Workers AI 的使用者,得到的回應有 99.2% 的內容是陌生租戶的 session。受影響請求的「資料成分」幾乎全被替換,不是「摻了一點點進去」。這也表示為什麼 Cloudflare 說「沒有發現刻意利用」——事實上,根本不需要刻意利用,正常使用的長上下文請求就足以觸發。

二、為什麼是 681,280 這個奇怪數字? 這正是 KV pool「由剩餘 GPU 記憶體反推」而非「由宣告的 context length 決定」的證據——一個不是人手動選定的數字。Cloudflare 後來把 pool 拉到約 204 萬 token(約 context length 的 1.95 倍),這個「留兩倍餘裕」的做法,事後看來是唯一合理的設定——因為量化、tensor parallelism、CUDA graph 的任何一項改動都會讓可用記憶體變動。

三、時間軸裡藏著兩個關鍵數字。 9 月 9 日 13:22 宣布安全事件,14:00(38 分鐘後)模型轉為 private、請求回 400,14:35 找到根因,14:52 全部 prefill 節點完成設定修正,19:04 部署重建完成並用研究者的重現腳本驗證,19:40 模型恢復公開服務——從宣布到修復到重啟,總共 6 小時 18 分。對照之下,9 月 8 日 23:11 收到通報到 9 月 9 日 13:22 宣布事件,中間隔了 14 小時 11 分。Cloudflare 對整件事的處理速度,是這份報告裡最沒有爭議的部分。

四、影響面比 GLM-5.3 一個模型大得多。 Cloudflare 說其他模型沒事,理由是其他部署的 pool 都大於 context length。但這是當時那個配置的性質,不是架構的保證。 任何未來只要有人部署一個 context length 接近或超過 pool 容量的模型,同一條路徑就會重新被打開。Cloudflare 自己也說了:「我們已把引擎修補與硬化套用到所有用 SGLang 供應的模型,且我們的部署檢查要求每一個新部署都必須具備這些條件。」

五、SGLang 的效能數字值得記下來。 2×H100、併發 256、1024 請求、21 輪測試,開關之間的差異在 ±2% 內且信賴區間跨零;2×H200 的 16 輪掃描得到 −0.38%(不顯著)。這說明正確的隔離機制是可以做到幾乎零成本的——前提是你有把它實作成「持有到排空」而不是「先釋放、靠運氣」。


質疑

第一,標題為什麼寫 GLM-5.3? 這是 HN 上最 heated 的爭論。網友 jacquesm 認為標題誤導:「這件事跟 GLM-5.3 毫無關係……這首先是 SGLang 跟 Cloudflare 的 bug,很久以後才輪到 Z.AI 的模型 bug。」Cloudflare 的 Kevin Flansburg 本人在討論串中回應:「我們從未主張這是模型的 bug。我們明確說明這是 Cloudflare 端的設定錯配加上 SGLang 的 bug。我們在標題中提到模型,是因為我們的客戶需要知道哪個 endpoint 受影響。」另有網友 aliasxneo 指出文章第一句其實寫得很清楚,是「the GLM-5.3 Workers AI model」——Workers AI 是 Cloudflare 自己的產品名。但這場討論本身值得記錄:當事件的責任歸屬需要靠標題的細微措辭來界定時,溝通成本就已經產生了。

第二,「沒有發現刻意利用」這個說法能被驗證嗎? 官方說扣掉自己的測試與研究者的測試後,剩下的請求「在時間與數量上符合一般的長上下文使用,不像有人反覆利用這個 bug」。這是合理但不可證偽的陳述:因為日誌本身沒有記錄「這個回應裡的內容是不是這個請求的」,所以無法用事後分析區分「誤打誤撞」與「刻意探測」。Cloudflare 也承認,部署者沒有可靠的方法判斷自己是否已經受害。這意味著即使現在,也沒有人能保證 155 筆是全部。

第三,155 筆的統計基礎是什麼? Cloudflare 說是「一小群使用 GLM 5.3 Workers AI 模型的客戶」,且全部來自超過 681,280 token 的 prompt。這個數字與「13 天 × 單一模型 × 需要超長上下文的正常使用」是相符的。但要注意,平台端知道受影響的是哪些請求,客戶端卻不可能知道自己的回應裡混了別人的東西——那 155 位收到回應的使用者,很可能至今不知道自己拿到的不是自己的資料。

第四,同一週內還有另一個 KV cache 漏洞。 VulnCheck 在 10 月 16 日公布 CVE-2026-111392:SGLang v0.5.13 到 v0.5.21 的 /generate 端點信任呼叫端提供的 mm_hashes 作為多模態 prefix cache 的 key,遠端攻擊者可以用已知的或可預測的 hash 送入不同的圖片,污染快取中的 KV entry,進而洩漏其他請求的圖片內容或破壞受害者的回應(CVSS 6.3,MEDIUM)。這跟本次事故是不同的漏洞,但暴露的是同一個結構性問題:KV cache 的 key 與歸屬管理,是多租戶推論服務裡最脆弱的一環。有工程師在 Hacker News 上直接說了:「我其實忘了共用租戶這個攻擊模型。我一直假設軟體會神奇地隔離我的 token,但對共用租戶來說那是不可能的。」

第五,這是個別工程問題,還是系統性的? SGLang 團隊的回答是後者:他們在文章裡描述的 deferred release 機制,是為了處理整個家族的 KV cache 生命週期缺陷(頁面生命週期、跨節點競態、傳輸批次無上限),並提到 Cloudflare 團隊在 2025 年 8 月就已經在特定模型與注意力後端上測過一個 page-level tag 原型,吞吐量成本低於 1%,但在 8 月中旬因為可靠性問題又把它關掉了。換句話說:正確的解法早就被寫出來過,只是還沒被推到引擎裡。 Cloudflare 現在的做法,是與 SGLang 團隊合作建立正式驗證(formal verification)層次——先用 Topaz 與 Meerkat/QuePaxa 那套方法,去證明一個基於 RDMA 的 KV cache 傳輸協定不會再出現這類一致性失效。官方也坦承:「我們預期形式化證明工具能告訴我們的仍然會有缺口,但證明系統的其餘部分,能讓我們更仔細地檢視並監控那些缺口。」


接下來該看什麼

Cloudflare 與 SGLang 都已經修好了,但有幾件事值得持續追蹤:

  1. 其他 AI 基礎設施業者是否也藏著同樣的落差? 目前沒有人公開揭露過類似事故,但 Cloudflare 這次的報告把「context window 宣稱值 vs 實際 KV pool 容量」變成一個任何人都能檢查的項目——每個跑 PD 部署的團隊都該去比對自己引擎啟動日誌裡的 pool 大小。
  2. --disaggregation-enable-kv-checksum 的實際覆蓋率。 Cloudflare 指出這兩個校驗機制尚未涵蓋所有模型架構,包括 GLM 5.3、GLM 5.3 Flash 與 DeepSeek V4 正在推廣中。
  3. SGLang v0.5.22 之後的釋出品質。 團隊自己也說 #39729 等清理工作仍在進行中,而 page-level tag 的驗證要從「prefill 到 decode 的交接」擴展到「decode 的每一個 step」,這是更長的路。
  4. Cloudflare 的形式化驗證路線是否真的能產出可用的保證。 對分散式系統而言,「證明剩下的部分」往往是最難的部分。

這一次外洩沒有造成實質危害——155 筆回應、單一模型、13 天、沒有證據顯示被刻意利用。但它發生在一家全球最大的雲端服務商的核心 AI 產品上,而且是在他們自己知道有問題的情況下發生的。這比任何零 day’s 更值得記住。

延伸參考:Cloudflare 官方事故報告、SGLang/LMSYS 官方技術說明、dev.to:frankchu 的 30 行重現、VulnCheck:CVE-2026-111392 SGLang KV Cache Poisoning、NDSS Symposium:I Know What You Asked、SGLang 文件:PD Disaggregation、X:@iCleanAI 的事件整理 與 Hacker News 討論串(146 分、47 則回覆)。

網友熱門留言 (5)

#1 Hacker News 網友 jacquesm(item?id=50253748) 0
這件事其實跟 GLM-5.3 毫無關係。這就是「多人共用模型卻沒做好帳務隔離」會發生的事,模型本身根本不重要。它暴露的是使用者 session 之間的隔離做得不夠,記憶體可以在不該重疊的地方重疊。這先是 SGLang 跟 Cloudflare 的 bug,很久以後才輪到 Z.AI 的模型 bug,我實在看不出模型方能做什麼。Cloudflare 應該自己扛下來,而不是在標題裡點名其他(我認為無辜的)的一方。
#2 Hacker News 網友 kami23(item?id=50252432) 0
我喜歡這份根因分析的程度超過多數。我欣賞他們願意認錯,以及清楚說明為什麼他們的測試沒有抓到這個 bug。也對他們處理問題的速度印象深刻——先直接把模型下架,然後很快完成修補;修補速度對我來說比較不是重點,但能看到他們能迅速在平台上終止這個模型的供應,這點很好。
#3 Hacker News 網友 0xbadcafebee(item?id=50252800) 0
我有點忘了「共用租戶」這個攻擊模型。我一直假設/希望軟體會神奇地把我的 token 隔離開來,但對共用租戶來說這實際上是不可能的。在談到 LLM 特有的功能與潛在 bug 之前,本來就有一整類針對共用快取的攻擊。持有高度敏感資料的企業,應該要跑在非共用的主機上。
#4 Hacker News 網友 segmondy(item?id=50252927) 0
「我們把 GLM 5.3 部署在 1,048,576 token 的 context window,但 prefill GPU 的 KV cache pool 只有 681,280 token 的空間。我們在上線前就知道這個落差。」所以他們是宣傳 1,048,576 token,但實際只有 681,280 token 的容量嗎?
#5 Hacker News 網友 xmcqdpt2(item?id=50257537) 0
半年前我在工作上丟給 Claude 一個很簡單的 prompt,卻回傳了非常具體的、無關的資訊,看起來非常像是來自公司裡的其他人。我提了事件,Anthropic 回覆(整封郵件都是 100% Claude 生成的)說這不可能,AI 有時候就是會這樣出錯。我不確定他們調查得多深,但顯然那封郵件對法遵就夠用了,所以也就算了。