編按:本文綜合整理自 DeepSeek 官方 GitHub 倉庫與技術文件《DeepSeek V4.1 Flash Inference Deployment Q&A》、DeepSeek 官方 X 與知乎公告、Hugging Face 模型卡、DeepSeek 官方 API 定價頁,以及解讀第三方分析(explainx、鉅亨網金色財經、掘金技術評論、SemiAnalysis 推理獲利估算器),並加入 Siami 編輯部觀點與分析。
10 月 20 日上午,DeepSeek 在官方 X 帳號放出一則四段圖文的公告,開頭寫得很直接:「Introducing DeepInfer, our in-house inference framework, now fully open source!」 這不是模型權重、不是算子庫、也不是編譯工具,而是把模型真正餵給幾百萬使用者的那一層——推理框架本身。官方在帖文結尾給了一句總結:“Open models. Open kernels. Open inference.”
這次同步開源的還有 deepseek-recipe,一個以 Rust 撰寫、附 Python 綁定的 Token 編解碼元件(MIT 授權),負責把 Messages/Chat Completions/Responses API 請求轉成 DeepSeek V4/V4.1 的 prompt 或 token ID,並把模型輸出解析回完整或串流回應。它還順手堵了一個安全缺口:DeepSeek 的模型用特殊標記區分說話者、思考邊界與工具呼叫,若有人在輸入中手寫這些標記,deepseek-recipe 只會當成普通文字,模型不會被騙。
開源了什麼、沒開源什麼
repo 採 Apache 2.0 授權,Python 為主語言,開源四天已累積 逾 1.1 萬顆星、1,026 次 fork、115 個 open issue。README 列出的功能清單相當具體:
- 最佳化 kernel 與 runtime:沿用 DeepSeek 自家的 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,以及自訂 TileLang kernel
- 平行化策略:注意力採資料平行搭配平衡過的 context parallel,MoE 採專家平行加 EPLB 負載均衡
- DSpark 與信心排程驗證:以草稿 token 加速解碼,並用信心指數決定何時驗證
- SWA Bounded Replay:只重播最近 128 個 token,大幅削減 decoder 端的 prefill 工作
- 非同步排程:宣稱為 zero-overhead batch scheduler
- 批次不變推論與決定性取樣、結構化輸出(regex/JSON schema/EBNF 限制)
但同一份 README 也白紙黑字列出三塊不包含的東西,而它們恰好是這套帳本的關鍵:
- KV cache 儲存系統
- Vision Encoder/Prefill/Decode 分离部署
- 跨資料平行副本(prefill 與 decode)的負載均衡
換句話說,拿到 DeepInfer 可以做離線推理,但要搭出一套跟 DeepSeek 官方一樣的完整線上服務,緩存與分活那一層還得自己補。第三方分析 explainx 直接點出這是本次發布「真正的新聞」:程式碼是真的生產級 kernel 與 runtime 工作,但社交媒體上瘋傳的兩個頭條數字,並不在 repo 裡。
硬體與環境限制同樣具體:僅支援 NVIDIA SM100 GPU 與華為昇騰 950 NPU 兩種平台,目前僅支援 DeepSeek-V4.1-Flash 一個模型(README 未聲稱支援 V3 系列或 V4 Pro)。建置環境需要 Linux、GCC 13 以上、Python 3.12,加上 CUDA 13(NVIDIA)或 CANN 9.2(昇騰)。官方 benchmark 是在 4 張 SM100 上測 prefill、64 張測 decode,兩者各自在一個 scale-up 網域內。README 底部也大方承認:這套框架最初主要在 vLLM 上建起來,另外參考了 SGLang 與 TensorRT-LLM。
155 兆 Token/日、每卡 38 美元:這組數字的來歷
這是這次發布最轟動、也最需要小心對待的部分。DeepSeek 官方首次公開了生產環境的營運帳本:
「基於這個框架,我們已實現 DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務。目前單一集群的服務吞吐是 155 兆 Tokens/天,整體收入是每卡每小時 38 美金(按谷價)。」
拆開來看,155 兆 Token/天換算成絕對數字是平均每秒約處理 17.9 億個 Token。官方同時揭露了三個設計目標支撐這個數字:吞吐更高、延遲更低。
值得注意的是價格結構——DeepSeek 官方的 deepseek-flash(即 V4.1-Flash-1017)定價是:
- 快取命中的輸入:每百萬 token 閒暇時段 0.02 元人民幣、高峰時段 0.04 元
- 快取未命中的輸入:閒暇時段 1 元、高峰時段 2 元
- 輸出:閒暇時段 4 元、高峰時段 8 元
命中與未命中之間是 50 倍價差。這個價差不是行銷話術,而是整個系統設計的經濟基礎。根據官方技術報告的線上數據,平均每個請求帶著 77K token 輸入,其中 96% 命中快取;同一張卡讀題時,不計快取每秒處理 6 萬 token,計入快取命中則是每秒 150 萬 token——差 25 倍。
三個關鍵設計:把成本壓下來的三把刀
一、KV Cache:把幾天的 SSD 拿來存對話
Block KV cache 不放在本機記憶體,而是落在獨立的 3FS 分散式檔案系統儲存集群,提供約 100 PiB 的 SSD 容量。Agent 流量的 TTL 為 3 天,聊天流量則拉到 7 天——因為聊天流量的命中長尾更極端,少量 KV cache 會被極多次重複讀取,掉了會讓整體命中率明顯下滑。官方實測,若聊天流量 TTL 縮到 3 天,命中率會掉 0.5% 到 1%。
儲存集群本身用 10+2 糾刪碼,同一個 EC 群組可容忍兩台節點同時故障;讀取時同時向 11 台機器發出請求,任意回來 10 份就足以解碼。針對約 112 KiB 的 KV block 顆粒最佳化後,3FS 的峰值聚合讀頻寬達 10 TiB/s、寫頻寬約 850 GiB/s。
二、SWA Bounded Replay:短期記憶不落盤,改用近似值換記憶體
V4.1 Flash 有部分層使用滑動視窗注意力(SWA),只看最近的 128 個 token,像一份短期記憶。這份記憶不寫進持久化快取,只留在產生它的那台機器記憶體裡,線上 TTL 約 180 秒,命中率在 98% 以上。每條序列實際進儲存的量是 20 層 × 134 token × 528 B(MXFP8 格式),約 1.4 MB。
V4 的做法是落盤加精確重算:未命中時重算「層數 × 窗口」個 token 做完整前向,逐層精確恢復。代價是 SWA KV cache 佔掉持久 KV cache 近一半容量,卻沒帶來相應的命中收益。V4.1 改成 SWA Bounded Replay——只重算最後 128 個 token,且注意力窗口被截斷在重算段內。重算成本因此降為與上下文長度、層數無關的常數,整個 prefill 階段的計算量近乎減半。
三、DSpark:把固定長度驗證改成變長驗證
投機解碼的思路是讓輕量草稿模塊先猜 5 個 token,再讓大模型一次檢查全部。DSpark 多做一步:用 Confidence Head 預測每個草稿 token 的接受率,把握小的乾脆不檢查,把驗證算力讓給其他請求。官方數據顯示,這讓每步要驗證的 token 數減少約 30%(5.00 → 3.2–4.4),而平均被採納長度幾乎不變(3.29 vs 3.20),在生產運行點換算成 +4% 到 +7% 的吞吐提升。
另外,decode 階段每兩步之間 CPU 原本要安排下一步算誰、處理上一步結果,這段時間 GPU 原本在乾等。非同步排程讓兩邊錯開,GPU 全程無閒置。
為什麼這件事重要:模型開源之後,戰場移到「怎麼把模型餵飽」
第一,這是 AI 產業護城河的一次位移。過去兩年「開源」這件事的內容是模型權重,誰的權重開源誰就贏得生態。但權重只解決了「能不能跑」,沒有解決「跑得起不跑得起」——而後者才是決定 API 價格能不能便宜的真正變數。DeepSeek 這次開的正好是後者。任何雲廠商、任何自建推理機房的團隊,現在可以直接拿到 DeepSeek 生產級的成本結構與排程策略,這在一年前是不可想像的。
第二,定價結構把「快取」變成產品的一部分。命中與未命中 50 倍的價差,等於是把「對話的歷史長尾」明碼標價。這會倒逼所有 API 提供者思考同一個問題:各家服務的快取命中率究竟是多少?快取究竟有沒有被做進計費結構裡?這也是為什麼 HN 上關於推理利潤的討論會這麼熱——當快取命中率能被優化到 96%,所謂的「每卡每小時 38 美元」就不再只是行銷數字,而是有具體工程路徑支撐的單位經濟。
第三,硬體綁定本身就是一種地緣表態。DeepInfer 同時支援 NVIDIA SM100 與華為昇騰 950,並把 DEEPINFER_ACCELERATOR 做成環境變數。在美國國土安全部以 FASCSA 全面排除 DeepSeek 產品的當週,DeepSeek 把能在昇騰上跑的推理框架開源,這個時間點本身就帶著訊號。
第四,「故意不給」的那三塊同樣有訊息量。KV cache 系統、PD 分離部署、跨副本負載均衡,DeepSeek 的解釋是它們與內部基礎設施綁得太深。但這三塊恰恰是產生「155 兆 Token/日」這個數字的地方。開源引擎、不開源營運,等於告訴外界:引擎可以複製,但規模效應複製不來。
數據解讀與質疑:三個必須保留的問號
第一,155 兆 Token/天的算術對不上的地方。 HN 網友 yfontana 從官方 benchmark 反推:一張 GPU 服務 256 個使用者時約 26k tokens/s,約等於每天 22.5 億 token;若單純按此線性外推,要做到 155 兆 token/天需要接近 7 萬張 GPU——他直接寫「這看起來很不可能」。這條質疑的價值在於:155 兆是服務吞吐(包含 cache hit 的重複計數),不是新生成的輸出量;把不同量級的數字混著算,就會得到離譜的結果。掘金技術評論也點出同一件事——「每天 155 兆 Token 是官方的服務吞吐表述,不是每天新生成這麼多輸出」。
第二,38 美元是收入,不是利潤,而且是谷價口徑。 這個數字按中國官方寫法是「按谷價計算的收入指標」,不考慮波峰波谷、也不等於毛利。多家媒體在轉載時把 38 美元乘以 24 小時與卡數直接換算成「月收入」,這種算法忽略了折舊、電費、機房、頻寬與閒置冗餘配額。官方自己也寫明部署會保留冗餘配額,配額使用率超過 0.8 就不准再縮,這意味著平均利用率天然低於滿載。HN 上的另一場交鋒更直接:mike_hearn 認為推理本質上是「販售幾乎沒有差異化的產品」,這種產業的長期利潤率會被競爭壓到 3%–5%;red_green_yell 則補上關鍵前提——現在的高利潤率建立在歷史上的巨額訓練支出之上,一旦訓練停止,AI 就回到商品市場。
第三,repo 的成熟度還很初步。 第三方在發布當天讀到的 repo 只有兩個 commit,這是一次首次公開投放,不是一段可供稽核的長期歷史。支援面也很窄:只有一個模型、兩種硬體、兩種開發環境組合。同時 open issue 已達 115 個,一個剛落地、只有兩次 commit 的 C++/CUDA 大型專案,後續維護強度仍待觀察。
這對誰有實際影響
對雲廠商與大型企業:這是一份可以拿來對標的成本工程藍圖。EP64–128 的 decode 配置、384 個路由專家摊到 64 張卡、每 1000 步統計一次各專家負載而每 10000 步才重排一次、線上實測最忙的卡只比平均忙 9%——這些都是能直接翻譯成部署決策的具體經驗值。
對開發者:最低有效部署單位是 64 張 prefill GPU 加 64 張 decode GPU。這明確標示了 DeepInfer 不是給個人玩家用的,官方在文件裡講得很清楚:「最小 1 組讀題加 1 組答題就能跑,但想跑得划算,起步是 64 卡加 64 卡。」個人玩家要讀的是 examples/offline_inference.py,官方預設會自動從 Hugging Face 下載 DeepSeek-V4.1-Flash-1017 checkpoint(MIT 授權,1M 上下文,建議 max_tokens ≥ 256K)。
對在評估「要不要自建 token 工廠」的玩家:DeepSeek 自己在公告裡已經畫出藍圖——私有部署、公開雲、未來新模型的推理程式碼與後續最佳化都會持續進這個 repo。但要記住那三塊沒開源的東西,就是你自建時必須自己補、也正是成本差距會出現的地方。
延伸閱讀
- DeepInfer 官方倉庫:github.com/deepseek-ai/DeepInfer
- DeepSeek V4.1 Flash 推理部署 Q&A(本文所有工程數字的第一手來源):github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md
- DeepSeek 知乎|DeepSeek V4.1 Flash 大規模推理部署實踐:zhuanlan.zhihu.com/p/2095560295930508953
- DeepSeek 官方 X 公告:x.com/deepseek_ai/status/2112476496283775135
- DeepSeek V4.1 Flash 模型卡(Hugging Face):huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
- DeepSeek 官方 API 模型與價格:api-docs.deepseek.com/zh-cn/quick_start/pricing
- 第三方查證|哪些數字在 repo 裡、哪些不在:explainx.ai — What the repo proves vs. what DeepSeek claims
- 中文技術評論|讀完所有程式碼後的判斷:juejin.cn/post/7698589047652925459
- HN 討論串(1,989 分、778 則留言):news.ycombinator.com/item?id=50163277
網友熱門留言 (5)