Inception Labs 推出 Mercury 2.5:擴散式語言模型突破 1107 tok/s,挑戰 GPT-5.6 與 Gemini 3.5 Flash
編按:本文綜合整理自 Inception Labs 官方部落格、BusinessWire 新聞稿、Rutland Herald 報導、Hacker News 討論串(id=49616354)、OpenRouter 模型頁與 NVIDIA 官方聲明,並加入 Siami 編輯部觀點與分析。
Inception Labs 於 2026 年 9 月 8 日正式釋出 Mercury 2.5,這是該公司迄今最強的擴散式大型語言模型(diffusion LLM,簡稱 dLLM)。官方公告指出,Mercury 2.5 是目前市場上能力最強的擴散式語言模型,在普及的 NVIDIA GPU 上推論速度達到 1107 tokens/s,與成本最佳化的前沿模型如 GPT-5.6 Luna(Low)、Gemini 3.5 Flash-Lite、Claude Haiku 4.5 處於同一等級。
這次發表距離 Mercury 2 正式上線僅約 5 個月,距離 Inception Labs 公開第一代 Mercury Coder(2025 年 2 月)僅 19 個月,速度在同類架構中並不尋常。
從「下一個 token」換成「整段去噪」:擴散式 LLM 到底在紅什麼
要理解 Mercury 2.5 的意義,得先理解擴散式 LLM 與傳統自迴歸式 LLM 的差別。傳統 LLM(GPT、Claude、Gemini 等)都是一個字一個字往右推:模型先看前文,再決定下一個 token 是什麼,這個動作重複幾千次才生成完整段回答。
擴散式 LLM 的做法完全相反。模型先把整段輸出「塗黑」(加入雜訊),再反覆去噪,最後一次給出完整結果。這個流程跟圖像生成領域的 Stable Diffusion 完全一樣,只是把「圖片像素」換成「文字 token」。
這個架構帶來三個好處:
- 平行生成:因為不需要等前一個字,整段可以平行去噪,理論吞吐量上限遠高於自迴歸模型。
- 可調節推理(tunable reasoning):可以動態控制去噪步數,想要快就少做幾步,想要精準就多做幾步。
- 結構化輸出更穩:JSON 與 schema 對齊比自迴歸模型更可靠。
Mercury 2.5 把上述優勢推到產品等級:1107 tokens/s 推論速度、260K token 上下文、定價每百萬輸入 token 0.20 美元、每百萬輸出 token 0.75 美元,上市期間 8 折優惠。
Mercury 2.5 與 NVIDIA 的雙贏
這次發表的另一個關鍵字是 NVIDIA。Inception Labs 在公告中直接收錄 NVIDIA 加速運算產品部門資深經理 Shruti Koparkar 的話:「自從 Mercury 2 上線以來,我們看到 Inception 在 NVIDIA AI 基礎設施上把擴散式語言模型往前推進一大步。Mercury 2.5 在智能提升的同時維持速度和低成本,展現了新架構在 NVIDIA 平台上能多快成熟為生產級系統。」
這段引言背後的訊息很清楚:擴散式 LLM 不是只能在研究室跑,NVIDIA 願意站台代表硬體層與軟體層已經跑通。Mercury 2.5 直接跑在「廣泛可得的 NVIDIA GPU」上,這對企業部署是關鍵。
已經在生產環境跑的客戶名單
Inception Labs 公告中點名三家已上線客戶:
- OpenCall:做 AI 電話客服代理人。改用 Mercury 後,中位數回應延遲降到 170 毫秒,P99 從「好幾分鐘」壓到 1 秒,P50 從 0.4 秒降到 0.2 秒以下。
- Augment Code:coding 代理人。Mercury 負責 context compaction、模型路由與 MCP 工具搜尋。把 compaction 換到 Mercury 後,延遲砍 82%(150 秒 → 27 秒),成本砍 90%。
- 多家搜尋基礎設施公司:在 RAG pipeline 與搜尋代理人中使用 Mercury,原因是單次搜尋會觸發數十次模型呼叫,速度直接決定使用者體驗。
Mercury 2.5 同時推出兩個 preview:Mercury Voice 與 Mercury Router。Voice 把 time-to-first-token 壓到 170 毫秒以內,專攻語音代理人;Router 用 dLLM 理解使用者 prompt,再路由到最合適的開源或閉源模型,目標是品質、速度與成本的平衡。
為什麼這件事重要
Mercury 2.5 不是「另一個又快又便宜的閉源模型」這麼簡單。它代表了大型語言模型架構路線的關鍵分歧:過去三年整個產業都押注在自迴歸路線(next-token prediction),Mercury 系列則持續押注擴散路線(diffusion)。如果擴散路線能在品質上追上自迴歸,速度與成本的雙重優勢會讓自迴歸陣營非常難回應。
從產品策略面看,這次發表做了三件聰明的事:
- 用速度換護城河:1107 tps 是 OpenAI 同級模型的 5 到 10 倍,這對延遲敏感的應用(電話客服、即時翻譯、coding 代理人)有結構性優勢。
- 企業客戶做口碑行銷:OpenCall、Augment Code、多家搜尋基礎設施公司的具體數字(P99 1 秒、成本砍 90%)比任何 benchmark 都更有說服力。
- 平台合作綁定 NVIDIA:在 NVIDIA GPU 上跑得順代表生態系相容性,這對企業採購是必考題。
對台灣開發者與企業最直接的影響是:Mercury 2.5 已在 Inception API、Baseten、OpenRouter 三個平台上架,OpenRouter 公開定價為 input $0.20/M、output $0.75/M(上市期間 $0.04/$0.15),透過 OpenRouter 整合可以直接在既有應用中呼叫,不用重寫 API 介面。
數據解讀與質疑
幾個值得追蹤的數字與疑問:
- 1107 tokens/s 的測試條件:官方強調這是「在廣泛可得的 NVIDIA GPU 上」的數字,但具體 GPU 型號、batch size、context length 都沒寫清楚。要跟 Gemini 3.5 Flash-Lite(官方稱 1500+ tps)或 GPT-5.6 Luna(官方稱 800 tps)正面比較,需要等獨立 benchmark。
- 「比 Mercury 2 智能提升 40%」:這是 Inception Labs 內部評估,還沒有看到 lmsys chatbot arena、Artificial Analysis、HELM 等第三方獨立分數。Hacker News 討論串中已有測試者表示「Mercury 2.5 Preview 還沒到前沿水平,但已可作為通用聊天機器人使用」。
- 擴散架構的護城河深不深:HN 討論串中較悲觀的聲音指出,擴散子代理人(diffusion sub-agent)今天就能跑,沒有出現所謂的海嘯變化。Inception Labs 自己也在公告末尾承認「我們已經開始訓練下一個模型」,代表連他們都認為這只是過渡產品。
- 不能自架的限制:模型沒有開源權重,「廣泛可得的 NVIDIA GPU」指的是推論服務而非本地部署,這對有資安或合規需求的企業會是阻力。Inception Labs 在用戶條款中提供「Improve the model for everyone」opt-out 選項,但對重視資料隔離的客戶仍不足。
- 與 GPT-5.6 Luna 同級的宣稱:Testing Catalog 在 Threads 上發文指出「Mercury 2.5 表現與 Gemini 3.5 Flash、GPT 5.6 Luna 持平」,但這是綜合觀察而非單一 benchmark。對成本敏感的應用,Mercury 2.5 確實是同級模型中最低價的選擇之一。
Hacker News 上有測試者回報 Mercury 會觸發 IP 保護機制,連「請模型解釋自己的 prompt 結構」這類合理請求都會被擋下,這可能是 Inception Labs 為防止蒸餾攻擊而設的保守策略,但對開發者體驗是扣分。
怎麼開始用
Mercury 2.5 的三個使用管道:
- Inception API:直接註冊帳號申請,上市期間有 1 億免費 token 的試用額度。
- OpenRouter:已上架,可在 https://openrouter.ai/inception/mercury-2.5 直接呼叫,計價方式同官方。
- Baseten:既有 Baseten 用戶可直接部署。
- Y Combinator 新創:可申請 $500,000 的部署補助。
對台灣開發者最直接的建議:先用 OpenRouter 試跑 prompt,這條路最簡單,計價透明,也不用跟 Inception Labs 業務窗口打交道。對於需要本地部署或私有雲隔離的場景,這次發表沒有提供任何選項,可能要等未來開源權重或企業專屬方案。
網友熱門留言 (5)