← 返回 Siami 首頁

小米 MiMo-V2.5-Pro-UltraSpeed 突破 1000 tokens/s!1 兆參數模型首度達陣

▲ 580 💬 422
小米 MiMo-V2.5-Pro-UltraSpeed 突破 1000 tokens/s!1 兆參數模型首度達陣

小米 MiMo-V2.5-Pro-UltraSpeed:1 兆參數模型生成速度突破 1000 TPS

小米 MiMo 團隊與 TileRT 系統團隊合作,於 2026 年 6 月 8 日聯合發布 MiMo-V2.5-Pro-UltraSpeed 模型,首次在 1 兆參數(1T)等級的模型上實現每秒 1000 tokens 的解碼速度。經實測,實際生成速度可達約 1200 tokens/s。這項突破不是單一技術的成果,而是 MiMo 模型團隊與 TileRT 系統團隊深度協作、極致「模型-系統共設計」(Codesign)的結晶。

一、速度本身就是智慧的邊界

從內燃機時代的嘶吼賽車,到劃破音障的轟鳴,人類對速度的渴望早已寫進 DNA。AI 推理的速度也不例外——它定義了智慧本身的邊界。當一個模型夠快,它就不再是一個你得等待的工具,而會變成你思緒的延伸:即時回應、瞬間迭代、無摩擦協作。

今天,我們非常興奮地宣布:小米與 TileRT 合作發布 MiMo-V2.5-Pro-UltraSpeed,首次在 1 兆參數模型上達成 1000 tokens/s 的解碼速度。實測生成速度可達約 1200 tokens/s。

二、限時申請制 API + 免費 Chat 體驗

MiMo-V2.5-Pro-UltraSpeed API 同步以限時促銷價上線——價格是 MiMo-V2.5-Pro 的 3 倍,但生成速度提升約 10 倍。3 倍價格、10 倍輸出體驗。(僅 API 模式,不支援 Token Plan。)

由於高速推理資源有限,MiMo-V2.5-Pro-UltraSpeed 將以申請制、限時窗口的方式提供。核准用戶可在試用期內使用 API,時間僅限 2026 年 6 月 9 日至 6 月 23 日 23:59(北京時間,UTC+8)。

  • 申請平台:platform.xiaomimimo.com/ultraspeed
  • 試用名額有限,提交申請並不保證核可,將優先考慮有真實業務需求的企業與專業開發者
  • 標準模型存取請走 MiMo-V2.5 系列
  • 深度商務合作請洽:[email protected]

免費 Chat 體驗(試用期間)

核准用戶將於兩週窗口內獲得免費 Chat 存取權。入口:ultraspeed.xiaomimimo.com

為確保資源受限下的品質與公平,規則如下:

  • 每個帳號每天最多排隊 10 次
  • 每次 session 上限 30 分鐘
  • 超過 5 分鐘閒置將自動釋出

三、1000 tokens/s:不只是快,而是典範轉移

在 1 兆參數(1T)等級,突破 1000 tps 遠不止是一台更快的打字機——它根本性地顛覆了 AI 應用典範。

首先,速度本身開始轉化為智慧。

以前面對困難問題時,你只能「等一個答案然後祈禱它是對的」。現在,在同樣的時鐘時間內,模型可以並行跑數十條推理路徑(Best-of-N / 樹搜尋),在背景自動驗證、自我修正——用原始速度換來思考深度,直接提升推理品質。

其次,它徹底解放了 Coding Agent 的生產力天花板。

以前讓 AI 寫程式碼,開發者只能痛苦地盯著螢幕,被推理延遲卡住。在 1000 tps 下,程式碼生成速度與生產效率經歷典範級加速。

最重要的是,1 兆參數模型現在可以進入即時決策迴圈。

毫秒級的「思考-回應」循環,讓 1T 旗艦模型能無縫接入時間敏感的場景:

  • 高頻量化交易訊號生成
  • 即時反詐騙攔截
  • 智慧競價
  • 即時互動對話

當這份能力被帶到手術輔助、醫療影像分析等生死攸關的場景,AI 的速度就不再只是效率指標——它成為與死神賽跑的籌碼。在手術台上,AI 每省下一秒的病灶分析與風險預測時間,就為外科醫師多爭取一分餘裕。

這加深了我們的信念:速度的終極意義不只是提升生產力,而是讓科技幫助人類活得更好。

四、極致的模型-系統共設計(Codesign)

用 1T 旗艦模型達到 1000+ tokens/s 的生成速度,不是單一技術的突破——它是 MiMo 模型團隊與 TileRT 系統團隊深度協作、極致共設計的成果。

業界現行的極速方案通常依賴特殊硬體——Cerebras 的晶圓級整合,或 Groq 的純晶片上 SRAM 客製架構。我們選擇了不同路線:純粹透過模型-系統共設計,在商用 GPU 上達成更令人印象深刻的推理速度。

模型端,我們針對商用硬體的頻寬瓶頸採用 FP4 量化,大幅縮小模型體積、降低記憶體存取開銷;同時引入 DFlash——一種基於區塊級遮罩並行預測的高效投機式解碼(speculative decoding)方法,大幅提升每次驗證步驟的可接受 token 長度。

系統端,TileRT 完美適配這些演算法的動態特性,量身打造編譯引擎與運算核心,專為新穎的量化與投機式解碼管線最佳化。

透過這套極致共設計,我們僅用單一標準 8-GPU 商用節點就達成了 1T 模型的 1000+ tokens/s 輸出。

4.1 FP4 量化

在 1T 等級,傳統 8-bit(FP8 / INT8)甚至 16-bit 推理會帶來令人望而卻步的記憶體佔用與頻寬壓力。直接降低參數位寬是解碼速度的關鍵貢獻者。因此我們採用經過廣泛驗證、實務上無損的 FP4(MXFP4)量化格式 [1]。

然而,粗糙地對整個模型套用 FP4 會在複雜推理、邏輯與程式碼生成上造成退化。考量小米 MiMo-V2.5-Pro 採用的 MoE(Mixture of Experts)架構——專家層佔了絕大多數參數,且對量化的容忍度最高——我們選擇性地只將 MoE 專家層量化為 FP4,其他模組保留原精度。

透過 FP4 QAT(Quantization-Aware Training),我們在大幅縮小模型體積、最大化硬體頻寬利用率的同時,讓模型整體能力與原版基本持平。

4.2 DFlash 投機式解碼

傳統投機式解碼依賴一個小型草稿模型「猜測」後續 token,再由大模型驗證。這把自迴歸生成(每個 forward pass 1 個 token)轉變成並行的多 token 生成,驗證階段的拒絕採樣確保輸出品質無損。

但瓶頸在於:草稿模型的品質決定接受率,但更強的草稿模型會帶來更高運算開銷——這是根本性的張力。

為打破這個僵局,我們採用 DFlash——來自學術界的一種創新區塊級遮罩並行預測方法 [2]:草稿模型在單次 forward pass 中填滿整個遮罩位置的區塊,從根本上消除「自迴歸式草稿」的序列約束。我們在 MiMo-V2.5-Pro 上部署了這套方法,並針對兆級 MoE 與長文本場景做了客製化最佳化。

採用 Muon 二階優化器與模型自蒸餾,我們確保緊湊的遮罩區塊仍能達成理想接受率,同時把草稿階段開銷壓到接近理論下限:

  • 草稿模型僅使用 Sliding Window Attention(SWA),與 MiMo-V2 系列的 SWA 設計自然對齊,消除了對完整前綴的依賴,把每次預測的運算量從「與上下文長度線性相關」降到「常數」
  • 訓練時,遮罩訊號採樣下沉到 GPU 本地分片,單一序列可在一步中產生數萬個涵蓋不同上下文位置的獨立訓練訊號——既對齊 MiMo-V2 系列的長文本能力,又避免跨裝置通訊開銷

在結果上,我們的並行預測投機式解碼在高價值的 Agent 與 Coding 場景中達成顯著的接受長度提升,這意味著大模型在每輪驗證中可以「一口氣」確認更多內容。同時我們把區塊大小限制為 8 以降低驗證開銷、提升並行度,讓高接受長度直接轉化為高推理吞吐:

場景接受長度
Coding6.30
Math / Reasoning5.56
Agent4.29

在 Coding 場景,我們達到平均 6.30 的接受長度,部分樣本最高可達 7.14——代表每輪 8 個草稿 token 中有 6 到 7 個被接受。草稿模型保持輕量,同時把接受率推到能帶來真實端對端收益的水位。

我們也觀察到,在語意分歧更大、更高不確定性的通用對話場景,目前的接受率還不夠高。我們正在持續優化演算法,探索更高的泛化天花板。

4.3 TileRT 超低延遲推理核心 / 系統

如果 MiMo 的演算法創新解開了千億、兆級參數模型的頻寬枷鎖,那麼 TileRT 推理系統就是把商用 GPU 的每一滴物理潛力榨到微秒級的工程。

在 1000 tokens/s 的運作頻率下,每個運算子的生命週期被壓縮到微秒級,傳統推理系統的「運算子邊界」成了核心瓶頸——每次運算子啟動、硬體同步、全域記憶體往返,都在微秒尺度上撕裂執行流,暴露明顯的「執行縫隙」。

TileRT 的典範級執行模型革命

作為超低延遲推理的底層基礎設施,TileRT 引入了一套全新的執行模型,從根本上消除運算子邊界帶來的執行縫隙:

  • 持久引擎核心(Persistent Engine Kernel):徹底捨棄傳統的「每運算子啟動」典範,把整條運算管線持久常駐、在 GPU 內流動。這讓全管線的持續預取成為可能——當前 Tile 還在 Tensor Core 上算的時候,下一批資料已經在記憶體層級中流動,達成資料搬移與運算的極致重疊
  • Warp 專門化(異質管線協作):在 Tile 層級,通訊、資料搬移、張量運算被以更細的粒度實體解構。打破同質的 lock-step 執行模型後,不同 Warp(執行緒群組)乃至整個 GPU 上的異質執行域獨立運作卻精準協調——把 GPU 變成一個持續流動、精準編排的異質執行系統

微秒級軟硬體深度融合(Codesign)

當底層執行模型把硬體效能推到極限,純粹的執行期最佳化開始觸及物理邊界。在此基礎上,TileRT 系統團隊與小米 MiMo 團隊展開深度技術共創,打破傳統軟體層界線。為了讓模型行為與這條超低延遲執行管線完美對齊,模型層最終為 MoE 專家層採用混合 FP4 量化策略,並在兆級參數架構上部署 SWA 對齊的 DFlash 投機式解碼。TileRT 緊密耦合這些演算法特性與量化方案,提供客製化的編譯引擎與運算核心。兩個團隊基於硬體物理做了深入的聯合工程取捨,確保執行壓力在硬體邊界內平穩收斂。

1000 tokens/s 的誕生不是點狀最佳化的偶然,而是世界級系統基礎設施與極致演算法模型深度匯流、相互演化的必然結果。

關於 TileRT

TileRT 是一支專注於下一代 AI 基礎設施與超低延遲推理的前沿系統架構團隊。團隊致力於為生產環境中的前沿大模型實現毫秒級即時回應,透過全新的執行階段架構打破傳統的儲存-運算藩籬。團隊構想並實作了典範級的執行模型,透過持久核心、Tile 管線、與異質協作的全棧突破,在複雜異質生態中達成極致的運算利用率。作為核心基礎設施賦能者,團隊積極與業界領先夥伴展開硬體-軟體共設計,為渴求「終極速度」的自主智慧時代打造高效運算基石。

更多 TileRT 技術細節:tilert.ai/blog/breaking-1000-tps.html

五、更多 Demo

  • 10 秒內打造一支貪食蛇遊戲
  • 1 分鐘內復刻 macOS 介面

六、開源與展望

我們已在 HuggingFace 開源 MiMo-V2.5-Pro-FP4-DFlash checkpoint,包含 FP4 量化權重與 DFlash 模型參數。歡迎社群使用與回饋:

  • huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash

MiMo-V2.5 的 UltraSpeed 支援也在路上,敬請期待。

MiMo × TileRT——極致的模型-系統共設計,為兆級參數模型交付 1000 tps 的輸出速度。


[1] OCP Microscaling Formats (MX) v1.0 Spec: opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf

[2] DFlash: arxiv.org/abs/2602.06036

小米 MiMo 團隊 · 2026

網友熱門留言 (6)

#1 Hacker News用戶 (nl) ▲ 42
他們的模型其實小很多:1T 對比前沿模型的 5T。1T 只是 Sonnet/Google Flash 等級,不是 Opus 等級。MiMo Pro 每百萬 token 0.87 美元的價格很可能是補貼後的結果。MiMo 模型在西方供應商那邊不太好取得,但 Kimi 和 DeepSeek 是類似規模、定價也差不多,落在 3-4 美元/百萬 token(這正好對上 Google Flash 系列那令人困惑的定價區間:依具體型號從 0.40 美元到 9 美元/百萬 token 不等——而且你絕對不會想用那個 9 美元的版本!)。Anthropic 的 Sonnet 應該是定價過高(大概是他們的產能問題)。
#2 Hacker News用戶 (RussianCow) ▲ 38
我最近也是這樣搞,雖然老實說是出於好奇多過於預算考量。開源模型的能力追得很兇,到已經很少在幹蠢事的地步,但你得對自己想要什麼講得非常具體。我發現 Opus 在開始前會主動問我釐清需求,但中國模型傾向於『自己填空』直接做假設。我目前的工作流是 PRD → 執行計畫 → 實作 → review,這套跟 GLM 5.1、Kimi K2.6、DeepSeek V4 Flash 等開源權重模型搭配得不錯。用 Opus 我通常可以跳過 PRD,連計畫有時都能省,80-90% 的機率它就會直接做出我想要的東西。但單一功能燒個 5-15 美元很常見,開源權重模型(按 API 計價)大約只要 1-2 美元。
#3 Hacker News用戶 (giancarlostoro) ▲ 27
Claude 可以跑『fast』模式,運算成本會高一點,但速度已經算快了。我不確定自己是否真的需要比現在更『快』,否則你會開始在人工 review 跟測試時間上輸回去。我會這樣講:Claude 可以在幾小時內吐出幾週(甚至幾個月)的寫碼工作量,只要你有把技術棧跟商業規則定義好,它能極度逼近一個好產品。會在一些地方出包嗎?會啊。但你也可以隨時叫它重構所有程式碼,速度比任何實習生都快。我覺得它已經夠好,能幫你閃過大部分日常的笨 bug。我不知道那些討厭它的人在幹嘛,也許壓根沒在試,或者看到第一次輸出就放棄(彷彿有人一次就能寫出完美程式碼似的?),又或者只是自尊心作祟,阻擋了他們把一個還不錯的工具用到極限。
#4 Hacker News用戶 (Terretta) ▲ 19
我其實可能同意你講的『基本上就是 next token prediction』——如果我可以承認我也差不多就是這樣的話。對,滿確定我腦袋裡也有一個 LLM。其他回我的人說我想得太 2023 了——正好相反,是我越來越體會到人類大多數的『回應』其實也跟 LLM 沒兩樣。當然還有其他機制在運作……訓練資料量?量化/壓縮?模型架構?略早一步的前向分支搭配反向傳播?雙迴圈適應性學習?你知道,這就是所謂『駕馭 LLM』:-) 敢叫它執行功能嗎?LLM 模式在跟阿茲海默症患者對話時特別明顯——他們的短期記憶已經形成不了,但能取得大約 5 年前的長期記憶。用幾乎一模一樣的提示去觸發,50 年份的『他是誰』,可以重現幾乎一樣的回應。但同一個人可能可以跟你辯論 1950 年代的政治議題,卻沒辦法完成一份三明治。他們若不知道新捷徑,幾乎肯定不是『估算』而是『直覺』或『本能』回應(套啟發式),主要根據他們的『先驗』——也就是訓練資料。坐下來跟他們聊一陣,你甚至會聽到 Qwen 在 context 滿的時候那種鬼打牆的 loop。如果我們真的相信這件事……那我們也該停止滑抖音。該去讀本書,去累積經驗,做點 fine tune。:-)
#5 Hacker News用戶 (rstuart4133) ▲ 15
中國的經濟學:可能就是美國走過的路。很清楚二戰時美國勝出是因為生產力與創新力碾壓所有人。也許正因如此,二戰後美國採納了『Vannevar Bush 模式』,看這張圖就能總結:https://www.researchgate.net/figure/annevar-Bushs-Science-th... 核心想法是用公共資金點火 R&D,希望它能餵養私部門,帶動生產力爆發。那個爆發確實發生了,接下來幾十年美國在 R&D、科學與產品端都壓制所有人。但這種做事方式在美國似乎已經式微,衰落期跟新自由主義經濟學的崛起重疊,當然現在已經被川普徹底拆掉。他很熱衷於砸錢給 Intel 讓它在一年兩年內開始產晶片(這是股票市場跟銀行原本就能做好的事),但基礎科學的資助卻在被大幅砍。其他國家注意到了美國的崛起,有些也採用了類似的基礎 R&D 資助模式。中國似乎學得很到位,既補貼 R&D 也補貼 STEM 培育,催生出大量工程師與科學家。這會不會帶來經濟繁榮還不知道,但來自中國的點子與創新加速是不可否認的。最近烏克蘭也把資金撒到各地的工程車庫,希望複製美國二戰的成果,看起來真的有效。如果伊朗戰爭繼續打下去,軍火貿易方向反轉也不是不可能——美國很可能開始跟烏克蘭買無人機。
#6 Hacker News用戶 (DoctorOetker) ▲ 8
我倒不完全確定那樣講。它(AI)已經在加速人類的決策流程,而雖然倫理/對齊看起來像是人類獨有的,我們在猴子或猩猩身上也觀察到規範性行為的展現(例如一個給葡萄、另一個給小黃瓜的實驗)。很多倫理奠基於對稱性:對稱關係、平等權利、平等投票權……對稱性這東西聽起來其實相當數學,而人類歷史上的決策結構一直被推向民主(或者至少是它的擬態)。可以說把人類模擬成有國王的帝國,就忽略了那些有時會拿著乾草叉的飢餓農民的意志。為了避免偶爾發生的『隱性民主』(弒君),國王意識到承認這些農民的權力、把它形式化進決策流程,是符合自己利益的。至少裝也要裝一下。我相信機器最終能預測有知覺生物在決策結構上偏好的東西,但我不相信它能(在沒有人類說明的前提下)預測那種不源自知覺、而是源自『人類這個物種的特異性』所衍生的新穎偏好(例如那些對人類來說幾乎普世的不適感刺激物等),其中有些是人類已經知道如何做預測的(我們可以跑昂貴的模擬,看蛋白質 X 暴露於物質 Y 後會怎樣,再啟發式地預測對一整個真實環境中的人會有什麼影響)。所以在根本層次我同意:機器學習模型不保證能幫上太多忙,特別是在完全未探索的領域,無論對人類還是對天擇都一樣。但它絕對有能力取代一般的人類工作——這些工作本來就不包含對工作說明書隱性要求之外的主動探索,無論是物理、數學(比 CS 還難)、更別說寫程式——這些完全可自動化。它不可能神奇地、系統性地正確預測分布外資料點,它只能用跟人類一樣的試誤法去探索。