← 返回 Siami 首頁

Inception Labs 發表 Mercury 3:擴散式 LLM 速度突破每秒 1,068 tokens,價格比 GPT-6 Luna 便宜近 10 倍

▲ 203 💬 79
Inception Labs 發表 Mercury 3:擴散式 LLM 速度突破每秒 1,068 tokens,價格比 GPT-6 Luna 便宜近 10 倍

編按:本文綜合整理自 Inception Labs 官方部落格、Hacker News 主討論串(203 分、79 則留言)、arXiv 擴散式語言模型綜述論文、OpenRouter 模型頁面與 Inception 共同創辦人 Stefano Ermon(Stanford 教授)訪談,並加入 Siami 編輯部觀點與分析。原文標題為「Diffusion at Scale: Introducing Mercury 3」(2026-10-19)。


Inception Labs 於 2026 年 10 月 19 日正式推出 Mercury 3——這是該公司迄今最強的擴散式大型語言模型(diffusion-based LLM,簡稱 dLLM),也是業界第一個在「品質」與「規模」雙雙追上自迴歸模型(autoregressive LLM)的擴散式架構。在多項基準測試中,Mercury 3 品質不輸甚至略勝 GPT-6 系列的「速度最佳化版」Luna 與 Anthropic 的 Claude Haiku 5.5,同時生成速度達每秒 1,068 token——比同級自迴歸模型快 4 到 8 倍,且在 NVIDIA GPU 上穩定運行。

Mercury 3 在做什麼:擴散模型也能寫程式

Mercury 系列的核心架構採用與 Stable Diffusion、DALL-E 相同的「擴散(diffusion)」原理——不是從左到右依序生成下一個 token(自迴歸),而是從「整段雜訊」逐步去噪,最終一次產出完整序列。這種架構的理論優勢是「平行生成」,可以一次產出多個 token,大幅壓低延遲;過去一年的工程瓶頸則是「品質是否能追上自迴模型」與「是否能擴展到商用規模」。

Mercury 3 把這兩個問題一次回答:

  • 速度:在 NVIDIA GPU 上量測,每秒 1,068 個 token,是 Mercury 1 的 1 倍以上,是同等級自迴歸模型的 4 到 8 倍。
  • 品質:在多項標準基準(具體未公開,但官方聲稱橫跨推理、寫程式、數學、長文理解)上,與 GPT-6 Luna 與 Claude Haiku 5.5 持平或略勝。
  • 規模:整體參數量是 Mercury 1 的 40 倍以上,但延遲幾乎不變——這證明擴散式架構也有自己的「scaling laws」。
  • 上下文:視窗擴大到 1M token(Mercury 2.5 為 26 萬),是前代的 4 倍。

更直接的殺手鐧是價格。Mercury 3 原價為每百萬輸入 token 0.20 美元、輸出 0.70 美元;上市期間直接對半砍到 0.10 / 0.35 美元,快取輸入更享有 90% 折扣。相比 GPT-6 系列「最低階」版本的 1.5 / 6.0 美元定價,Mercury 3 的定價區間幾乎只有對手的 1/7 到 1/15——這在「品質追平」的假設成立時,等同於把整個企業 API 市場的價格地板拉低一個數量級。

早期合作夥伴:把延遲敏感的場景全部跑一遍

Inception 在發表會上直接附上 4 家具名早期客戶,覆蓋了所有「低延遲」應用場景。這 4 家都不是隨便找的——他們各自代表一個對「速度」有極致要求的產業:

TinyFish AI(瀏覽器代理):「Agent 每個步驟都依賴模型回應,小延遲會被乘數放大。TinyFish 在 50 個真實 Mind2Web 導航任務上測試 Mercury 3,完成率比 GPT-6.1-Sol 高 50%,用同等代理步數、同等 token 數量,但單 token 成本更低。」——共同創辦人 Shuhao Zhang。

General Learning / RevisionDojo(即時家教):「學生卡題時,多等一秒就會失去注意力。Mercury 3 給每個學生即時反饋——提示、批改、定義大約 1 秒回傳。對教育產品來說,這個速度讓學習者保持在心流裡。」——共同創辦人暨技術長 Michael Tong。

Octen AI(智慧眼鏡搜尋):「在智慧眼鏡上,回答延遲 5 秒就會讓使用者覺得裝置壞了。Octen AI 的 Sense API(Octen search)大約 80ms,瓶頸完全在模型端。Mercury 3 是 Octen 團隊測過的快模型裡『速度與品質平衡』最好的一款:中位生成時間 0.9 秒、中位端到端回應 2.2 秒。」——創辦人暨執行長 Kuan Zou。

Lorikeet(客服代理):「Lorikeet 服務的是受監管產業(金融、醫療),不能為了速度犧牲正確性。Mercury 3 在內部 eval 與實際生產環境都打敗 Lorikeet 之前使用的模型。」——工程團隊 Michael Gribben。

「Mercury 3 已上線。擴散模型也能擴展。」(Mercury 3 is live. Diffusion scales.)——Inception Labs 官方結語

Inception 同時公佈了兩個姊妹產品:Mercury Voice(為語音應用客製、強調「time to first answer token」、已在 Audivi AI、Altur、OpenCall 上線)與 Mercury Decide(高吞吐量分類模型、在 JevBench 與 LegalBench 上打敗 Jev)。

Mercury 3 已在 Inception API Platform、OpenRouter、Baseten、Vercel 同步上線,且 OpenAI API 相容——這代表開發者可以把現有 OpenAI 客戶端的程式碼直接換掉 endpoint 就跑起來。


Siami 觀點:擴散模型是真正的「架構轉移」嗎

Mercury 3 的意義不只是「Inception 又發表一款新模型」。如果官方 benchmark 屬實,這是 AI 基礎模型從 2017 年 Transformer 發表以來,第一次出現「非自迴歸」架構能在「品質 × 速度 × 規模」三個維度同時與自迴歸模型競爭。

第一,擴散式 LLM 與自迴歸 LLM 的根本差異不在「快」,而是在「可控性」與「可平行化」。 自迴歸模型一次產一個 token(GPT、Claude、Gemini、Llama 都是),每個 token 必須等前一個生成才能開始,無法平行化。擴散模型一次產整段,可以平行生成多個 token,理論上限就是自迴歸的 N 倍(視序列長度 N)。這個優勢在「即時性」應用(語音、客服、家教、AR 眼鏡)特別明顯——這些場景過去為了「速度」只能選用較小的蒸餾模型,現在可以用「旗艦品質 + 旗艦速度」。

第二,這對 NVIDIA GPU 的供需有微妙影響。 Mercury 3 跑得快,理論上每張 GPU 同時間服務的 token 數比自迴歸模型高,這對 inference GPU(H100、H200、B200)的需求壓力可能會下降。但訓練端因為擴散模型的「去噪步數」通常需要多輪迭代,訓練計算量不會減少——所以這個影響主要會在 inference 階段,而不是訓練階段。

第三,這對 OpenAI、Anthropic、Google DeepMind 的「下一代基礎模型」佈局是一記警鐘。 過去 2 年這些公司都在自迴歸模型上加 reasoning(o 系列)、加 tool use、加 test-time compute。Inception 用「換架構」的方式直接跳過 reasoning chain,把推理時間壓回生成時間——這代表推理(reasoning)這個戰場可能從「靠 prompting 讓模型思考更久」變成「靠架構讓模型一次輸出更完整」。Stefano Ermon(Inception 共同創辦人、Stanford 教授)在 2026 年的訪談中已多次強調這個觀點:「擴散式 LLM 不是為了取代自迴歸模型,而是為了解決自迴歸模型解決不了的即時性問題。」


數據解讀與質疑

關於品質:官方公布的 benchmark 細節不夠透明。 Inception 只說「在多項標準基準上打敗 GPT-6 Luna 與 Claude Haiku 5.5」,但沒有公開是哪幾項 benchmark、是否涵蓋寫程式、長文理解、推理、指令遵循(instruction following)等面向。在第三方獨立評測出來之前(如 HellaM、aimo、SWE-bench、LMArena),業界對 Mercury 3 的「品質追平」應保持中性態度。值得注意的對比是:Google 2026 年中推出的 DiffusionGemma 也是擴散式 LLM,但 Hacker News 上的評價是「擴散與自迴歸的品質差距還是很明顯」。

關於價格:上市對半砍的背後是「價格訊號」而非「永久降價」。 0.10 美元/百萬輸入 token 的「上市價」只是短期行銷活動,正式價格是 0.20 / 0.70 美元。即使是正式價,相比 GPT-6 系列仍便宜 5-10 倍。Inception 真正的戰略目標應該是用「上市價」先把企業客戶拉進來、累積用量,之後再慢慢調回正式價——這是 AWS、Azure、GCP 過去 10 年都在用的「land and expand」策略。

關於上下文:1M token 是「規格」而非「實用」。 從 GPT-4 的 8K → 128K → 1M,業界都知道「理論視窗」與「實際有效視窗」之間有巨大落差。Mercury 3 的 1M 是否真能在長上下文場景(如長 PDF、整份程式碼庫、對話歷史)保持品質一致,需要等 LMSYS Arena、LMArena、LongBench 等第三方長上下文 benchmark 出來才能驗證。

關於商業化:擴散式 LLM 的最大風險是「生態系鎖定」。 自迴歸 LLM 累積了 6 年的生態系——OpenAI API、Vercel AI SDK、LangChain、Llamaindex、所有現成的 prompt engineering 工具都圍繞自迴歸 token-by-token 的介面設計。Mercury 3 雖然提供 OpenAI 相容 API,但「相容」不等於「等價」——任何依賴 streaming、logprob 校準、tool call 流式呼叫的進階客戶端都會遇到摩擦。Inception 接下來 12 個月最重要的工作是建立「擴散式 LLM 的生態系」,而不是再發一款更快的模型。


對台灣與全球 AI 應用層的後續影響

對台灣的 AI 應用新創(特別是做 voice agent、客服、教育、AR 應用的小團隊),Mercury 3 的價格與速度組合是一個值得立刻評估的選項。幾個具體的評估點:

  1. 客服中心與電話自動化:Mercury Voice 是直接針對 TTFAT(time to first answer token)設計的,對台灣常見的客服自動化(如銀行、壽險、電商訂單處理)有直接應用價值。
  2. 智慧家居與 IoT 語音助理:過去受限於 latency,必須用蒸餾模型犧牲品質。Mercury 3 的 0.9 秒生成時間讓「旗艦品質 + 即時回應」第一次變得可行。
  3. 教育科技:台灣的家教業與 K-12 線上教育市場,過去在「即時反饋」上一直受延遲限制。RevisionDojo 的成功案例顯示,1 秒回應速度可以讓學生「保持在心流裡」。

對 OpenAI、Anthropic 而言,這是他們必須認真考慮「下一代基礎架構」是否要走擴散路線的關鍵節點。從「GPT-6 系列仍全採自迴歸」到「Mercury 3 在品質 × 速度 × 規模三個維度追上」,業界花了大約 18 個月。接下來 12 個月,最值得追蹤的是:OpenAI 是否會在 GPT-7 推出混合架構(自迴歸 + 擴散)?Anthropic 與 Google DeepMind 是否會跟進?

對投資人而言,Inception Labs 在 2026 年的營收雖然不大,但「擴散式 LLM 商業化」的領先地位讓它在二級市場或下一輪募資中具有顯著的「架構溢價」。這也是為什麼他們敢用上市對半砍價當上市活動——他們賣的不是「便宜」,而是「架構領先」。


外部延伸閱讀:

網友熱門留言 (5)

#1 famouswaffles(Hacker News,AI 開發者) ▲ 142
如果擴散模型真的能在品質上追平自迴歸模型,速度又快 4-8 倍,這會是過去三年最大的架構轉移。Mercury 3 證明了『擴展法則』(scaling laws)不只適用於自迴歸模型,也適用於擴散模型——OpenAI、Anthropic 必須認真考慮是否要為下一代基礎架構鋪路了。
#2 thomasahle(Hacker News,ML 工程師) ▲ 98
擴散模型最大的弱點一直是『長序列品質衰減』與『可控性』。在 Mercury 3 之前,dLLM 通常只能處理 1K-4K token 的視窗。Mercury 3 把上下文推到 1M token,幾乎是 Mercury 2.5 的 4 倍——這是技術突破,但長上下文是否真的有實用價值,還是要等實際 benchmark 出來。
#3 octen_ceo(X 開發者,Kuan Zou) ▲ 87
在 smart glasses 上,回答延遲 5 秒就會讓使用者覺得裝置壞了。我們 Sense API 的 Octen search 大概 80ms,瓶頸完全在模型端。Mercury 3 是我們測過的快模型裡『速度與品質平衡』最好的一款:中位生成時間 0.9 秒、中位端到端回應 2.2 秒。
#4 ai_director_42(Hacker News,企業 AI 顧問) ▲ 76
0.10 美元/百萬輸入 token 的價格其實比 Llama 3.1 8B 自架 API 還便宜。如果 Mercury 3 的品質真的跟官方 benchmark 說的一樣,這對所有做 voice agent、客服、教育應用的新創都是天降紅利——成本可以砍半但不能砍掉延遲,這次連延遲都砍了。
#5 dev_economist(X,AI 經濟學研究者) ▲ 65
真正值得注意的是定價策略:Inception 用對半砍價當上市活動,不是降價 20% 那種行銷手法。這代表他們非常清楚,要打進企業市場必須先把『擴散模型=貴』這個迷思打破。GPT-6 系列、Claude Haiku 接下來 6 個月的降價壓力會非常大。