← 返回 Siami 首頁

DeepSeek 把賺錢引擎也開源了:DeepInfer 交出 155 兆 Token/日、每卡每小時 38 美元的完整帳本,但故意留了三塊最賺錢的拼圖不給

▲ 1,989 💬 778
DeepSeek 把賺錢引擎也開源了:DeepInfer 交出 155 兆 Token/日、每卡每小時 38 美元的完整帳本,但故意留了三塊最賺錢的拼圖不給

編按:本文綜合整理自 DeepSeek 官方 GitHub 倉庫與技術文件《DeepSeek V4.1 Flash Inference Deployment Q&A》、DeepSeek 官方 X 與知乎公告、Hugging Face 模型卡、DeepSeek 官方 API 定價頁,以及解讀第三方分析(explainx、鉅亨網金色財經、掘金技術評論、SemiAnalysis 推理獲利估算器),並加入 Siami 編輯部觀點與分析。

10 月 20 日上午,DeepSeek 在官方 X 帳號放出一則四段圖文的公告,開頭寫得很直接:「Introducing DeepInfer, our in-house inference framework, now fully open source!」 這不是模型權重、不是算子庫、也不是編譯工具,而是把模型真正餵給幾百萬使用者的那一層——推理框架本身。官方在帖文結尾給了一句總結:“Open models. Open kernels. Open inference.”

這次同步開源的還有 deepseek-recipe,一個以 Rust 撰寫、附 Python 綁定的 Token 編解碼元件(MIT 授權),負責把 Messages/Chat Completions/Responses API 請求轉成 DeepSeek V4/V4.1 的 prompt 或 token ID,並把模型輸出解析回完整或串流回應。它還順手堵了一個安全缺口:DeepSeek 的模型用特殊標記區分說話者、思考邊界與工具呼叫,若有人在輸入中手寫這些標記,deepseek-recipe 只會當成普通文字,模型不會被騙。


開源了什麼、沒開源什麼

repo 採 Apache 2.0 授權,Python 為主語言,開源四天已累積 逾 1.1 萬顆星、1,026 次 fork、115 個 open issue。README 列出的功能清單相當具體:

  • 最佳化 kernel 與 runtime:沿用 DeepSeek 自家的 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,以及自訂 TileLang kernel
  • 平行化策略:注意力採資料平行搭配平衡過的 context parallel,MoE 採專家平行加 EPLB 負載均衡
  • DSpark 與信心排程驗證:以草稿 token 加速解碼,並用信心指數決定何時驗證
  • SWA Bounded Replay:只重播最近 128 個 token,大幅削減 decoder 端的 prefill 工作
  • 非同步排程:宣稱為 zero-overhead batch scheduler
  • 批次不變推論與決定性取樣、結構化輸出(regex/JSON schema/EBNF 限制)

但同一份 README 也白紙黑字列出三塊不包含的東西,而它們恰好是這套帳本的關鍵:

  • KV cache 儲存系統
  • Vision Encoder/Prefill/Decode 分离部署
  • 跨資料平行副本(prefill 與 decode)的負載均衡

換句話說,拿到 DeepInfer 可以做離線推理,但要搭出一套跟 DeepSeek 官方一樣的完整線上服務,緩存與分活那一層還得自己補。第三方分析 explainx 直接點出這是本次發布「真正的新聞」:程式碼是真的生產級 kernel 與 runtime 工作,但社交媒體上瘋傳的兩個頭條數字,並不在 repo 裡。

硬體與環境限制同樣具體:僅支援 NVIDIA SM100 GPU 與華為昇騰 950 NPU 兩種平台,目前僅支援 DeepSeek-V4.1-Flash 一個模型(README 未聲稱支援 V3 系列或 V4 Pro)。建置環境需要 Linux、GCC 13 以上、Python 3.12,加上 CUDA 13(NVIDIA)或 CANN 9.2(昇騰)。官方 benchmark 是在 4 張 SM100 上測 prefill、64 張測 decode,兩者各自在一個 scale-up 網域內。README 底部也大方承認:這套框架最初主要在 vLLM 上建起來,另外參考了 SGLang 與 TensorRT-LLM。


155 兆 Token/日、每卡 38 美元:這組數字的來歷

這是這次發布最轟動、也最需要小心對待的部分。DeepSeek 官方首次公開了生產環境的營運帳本:

「基於這個框架,我們已實現 DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務。目前單一集群的服務吞吐是 155 兆 Tokens/天,整體收入是每卡每小時 38 美金(按谷價)。」

拆開來看,155 兆 Token/天換算成絕對數字是平均每秒約處理 17.9 億個 Token。官方同時揭露了三個設計目標支撐這個數字:吞吐更高、延遲更低。

值得注意的是價格結構——DeepSeek 官方的 deepseek-flash(即 V4.1-Flash-1017)定價是:

  • 快取命中的輸入:每百萬 token 閒暇時段 0.02 元人民幣、高峰時段 0.04 元
  • 快取未命中的輸入:閒暇時段 1 元、高峰時段 2 元
  • 輸出:閒暇時段 4 元、高峰時段 8 元

命中與未命中之間是 50 倍價差。這個價差不是行銷話術,而是整個系統設計的經濟基礎。根據官方技術報告的線上數據,平均每個請求帶著 77K token 輸入,其中 96% 命中快取;同一張卡讀題時,不計快取每秒處理 6 萬 token,計入快取命中則是每秒 150 萬 token——差 25 倍。


三個關鍵設計:把成本壓下來的三把刀

一、KV Cache:把幾天的 SSD 拿來存對話

Block KV cache 不放在本機記憶體,而是落在獨立的 3FS 分散式檔案系統儲存集群,提供約 100 PiB 的 SSD 容量。Agent 流量的 TTL 為 3 天,聊天流量則拉到 7 天——因為聊天流量的命中長尾更極端,少量 KV cache 會被極多次重複讀取,掉了會讓整體命中率明顯下滑。官方實測,若聊天流量 TTL 縮到 3 天,命中率會掉 0.5% 到 1%。

儲存集群本身用 10+2 糾刪碼,同一個 EC 群組可容忍兩台節點同時故障;讀取時同時向 11 台機器發出請求,任意回來 10 份就足以解碼。針對約 112 KiB 的 KV block 顆粒最佳化後,3FS 的峰值聚合讀頻寬達 10 TiB/s、寫頻寬約 850 GiB/s。

二、SWA Bounded Replay:短期記憶不落盤,改用近似值換記憶體

V4.1 Flash 有部分層使用滑動視窗注意力(SWA),只看最近的 128 個 token,像一份短期記憶。這份記憶不寫進持久化快取,只留在產生它的那台機器記憶體裡,線上 TTL 約 180 秒,命中率在 98% 以上。每條序列實際進儲存的量是 20 層 × 134 token × 528 B(MXFP8 格式),約 1.4 MB。

V4 的做法是落盤加精確重算:未命中時重算「層數 × 窗口」個 token 做完整前向,逐層精確恢復。代價是 SWA KV cache 佔掉持久 KV cache 近一半容量,卻沒帶來相應的命中收益。V4.1 改成 SWA Bounded Replay——只重算最後 128 個 token,且注意力窗口被截斷在重算段內。重算成本因此降為與上下文長度、層數無關的常數,整個 prefill 階段的計算量近乎減半。

三、DSpark:把固定長度驗證改成變長驗證

投機解碼的思路是讓輕量草稿模塊先猜 5 個 token,再讓大模型一次檢查全部。DSpark 多做一步:用 Confidence Head 預測每個草稿 token 的接受率,把握小的乾脆不檢查,把驗證算力讓給其他請求。官方數據顯示,這讓每步要驗證的 token 數減少約 30%(5.00 → 3.2–4.4),而平均被採納長度幾乎不變(3.29 vs 3.20),在生產運行點換算成 +4% 到 +7% 的吞吐提升。

另外,decode 階段每兩步之間 CPU 原本要安排下一步算誰、處理上一步結果,這段時間 GPU 原本在乾等。非同步排程讓兩邊錯開,GPU 全程無閒置。


為什麼這件事重要:模型開源之後,戰場移到「怎麼把模型餵飽」

第一,這是 AI 產業護城河的一次位移。過去兩年「開源」這件事的內容是模型權重,誰的權重開源誰就贏得生態。但權重只解決了「能不能跑」,沒有解決「跑得起不跑得起」——而後者才是決定 API 價格能不能便宜的真正變數。DeepSeek 這次開的正好是後者。任何雲廠商、任何自建推理機房的團隊,現在可以直接拿到 DeepSeek 生產級的成本結構與排程策略,這在一年前是不可想像的。

第二,定價結構把「快取」變成產品的一部分。命中與未命中 50 倍的價差,等於是把「對話的歷史長尾」明碼標價。這會倒逼所有 API 提供者思考同一個問題:各家服務的快取命中率究竟是多少?快取究竟有沒有被做進計費結構裡?這也是為什麼 HN 上關於推理利潤的討論會這麼熱——當快取命中率能被優化到 96%,所謂的「每卡每小時 38 美元」就不再只是行銷數字,而是有具體工程路徑支撐的單位經濟。

第三,硬體綁定本身就是一種地緣表態。DeepInfer 同時支援 NVIDIA SM100 與華為昇騰 950,並把 DEEPINFER_ACCELERATOR 做成環境變數。在美國國土安全部以 FASCSA 全面排除 DeepSeek 產品的當週,DeepSeek 把能在昇騰上跑的推理框架開源,這個時間點本身就帶著訊號。

第四,「故意不給」的那三塊同樣有訊息量。KV cache 系統、PD 分離部署、跨副本負載均衡,DeepSeek 的解釋是它們與內部基礎設施綁得太深。但這三塊恰恰是產生「155 兆 Token/日」這個數字的地方。開源引擎、不開源營運,等於告訴外界:引擎可以複製,但規模效應複製不來。


數據解讀與質疑:三個必須保留的問號

第一,155 兆 Token/天的算術對不上的地方。 HN 網友 yfontana 從官方 benchmark 反推:一張 GPU 服務 256 個使用者時約 26k tokens/s,約等於每天 22.5 億 token;若單純按此線性外推,要做到 155 兆 token/天需要接近 7 萬張 GPU——他直接寫「這看起來很不可能」。這條質疑的價值在於:155 兆是服務吞吐(包含 cache hit 的重複計數),不是新生成的輸出量;把不同量級的數字混著算,就會得到離譜的結果。掘金技術評論也點出同一件事——「每天 155 兆 Token 是官方的服務吞吐表述,不是每天新生成這麼多輸出」。

第二,38 美元是收入,不是利潤,而且是谷價口徑。 這個數字按中國官方寫法是「按谷價計算的收入指標」,不考慮波峰波谷、也不等於毛利。多家媒體在轉載時把 38 美元乘以 24 小時與卡數直接換算成「月收入」,這種算法忽略了折舊、電費、機房、頻寬與閒置冗餘配額。官方自己也寫明部署會保留冗餘配額,配額使用率超過 0.8 就不准再縮,這意味著平均利用率天然低於滿載。HN 上的另一場交鋒更直接:mike_hearn 認為推理本質上是「販售幾乎沒有差異化的產品」,這種產業的長期利潤率會被競爭壓到 3%–5%;red_green_yell 則補上關鍵前提——現在的高利潤率建立在歷史上的巨額訓練支出之上,一旦訓練停止,AI 就回到商品市場。

第三,repo 的成熟度還很初步。 第三方在發布當天讀到的 repo 只有兩個 commit,這是一次首次公開投放,不是一段可供稽核的長期歷史。支援面也很窄:只有一個模型、兩種硬體、兩種開發環境組合。同時 open issue 已達 115 個,一個剛落地、只有兩次 commit 的 C++/CUDA 大型專案,後續維護強度仍待觀察。


這對誰有實際影響

對雲廠商與大型企業:這是一份可以拿來對標的成本工程藍圖。EP64–128 的 decode 配置、384 個路由專家摊到 64 張卡、每 1000 步統計一次各專家負載而每 10000 步才重排一次、線上實測最忙的卡只比平均忙 9%——這些都是能直接翻譯成部署決策的具體經驗值。

對開發者:最低有效部署單位是 64 張 prefill GPU 加 64 張 decode GPU。這明確標示了 DeepInfer 不是給個人玩家用的,官方在文件裡講得很清楚:「最小 1 組讀題加 1 組答題就能跑,但想跑得划算,起步是 64 卡加 64 卡。」個人玩家要讀的是 examples/offline_inference.py,官方預設會自動從 Hugging Face 下載 DeepSeek-V4.1-Flash-1017 checkpoint(MIT 授權,1M 上下文,建議 max_tokens ≥ 256K)。

對在評估「要不要自建 token 工廠」的玩家:DeepSeek 自己在公告裡已經畫出藍圖——私有部署、公開雲、未來新模型的推理程式碼與後續最佳化都會持續進這個 repo。但要記住那三塊沒開源的東西,就是你自建時必須自己補、也正是成本差距會出現的地方。


延伸閱讀

網友熱門留言 (5)

#1 Hacker News 網友 peterzat(news.ycombinator.com/item?id=50171758) 0
今天這次開源有個有趣的副作用:任何一家採用 DeepInfer 來服務任何東西的美國主機商,現在等於在跑一個 DeepSeek 產品。我看不出這有什麼宿主平台的漏洞可以鑽。國防部去年 12 月的 NDAA 第 1532 條就是對國防部做了同樣的事——不論在哪裡跑,凡是「由 DeepSeek 開發」的 AI。
#2 Hacker News 網友 yfontana(news.ycombinator.com/item?id=50172066) 0
從 GitHub 的 benchmark 數字來看,一張 GPU 在服務 256 個使用者時大約可以做到 26k tokens/s,也就是每天約 22.5 億 token。那要達到 155 兆 token/天,一個集群得接近 7 萬張 GPU(這看起來很不可能)。
#3 Hacker News 網友 mike_hearn(news.ycombinator.com/item?id=50166267) 0
我認為我們整體需要對這類說法踩一腳。沒有理由認為推理可以或將持續保持可觀的利潤率,即便假設是純粹只做推理、完全不做訓練的供應商。服務一個 LLM 不是小孩子的遊戲,但也沒有難到足以算是一道護城河。推理就是:1. 販售一個幾乎沒有差異化的產品;2. 進入一個高度競爭的市場;3. 賣給主要對價格敏感的客戶。這種產業在現代通常有 3% 到 5% 左右的利潤率。任何高於這個數字的利潤都會被競爭壓回來。
#4 Hacker News 網友 red_green_yell(news.ycombinator.com/item?id=50167852) 0
說得好。AI 樂觀者看到推理端目前的高利潤率,就盲目接受推理利潤率會持續的說法。當然這些利潤率取決於訓練端歷史上鉅額的研發支出。一旦訓練停止,AI 就回到一個商品市場,然後推理的利潤也就跟著結束了。大實驗室都在拼命讓這輛現金列車繼續跑下去,但他們都看得出這不會永遠持續,所以才有瘋狂衝 IPO 與收緊開源模型的浪潮。樂觀者說對了一件事,AI 是歷史上具影響力的產品,但大實驗室將無法在推動 AI 時代的過程中獲得有意義的利潤,就像 Netscape 儘管開創了網際網路時代卻仍然失敗一樣。
#5 鉅亨網編輯「金色財經」轉述網友評論 0
有人說,這才是真正的 OpenAI。另有人比喻:村裡有個學霸,人特別好,不光免費讓你抄作業,還免費給你講課;還有路口的館子,好吃又便宜,還把配方掛在門口,想自己做的拿回家照著弄,老闆只希望人人都能吃上好飯。模型開源是讓你抄作業,推理框架開源是連怎麼做出來都教你了。