小米 MiMo-V2.5-Pro-UltraSpeed:1 兆參數模型生成速度突破 1000 TPS
小米 MiMo 團隊與 TileRT 系統團隊合作,於 2026 年 6 月 8 日聯合發布 MiMo-V2.5-Pro-UltraSpeed 模型,首次在 1 兆參數(1T)等級的模型上實現每秒 1000 tokens 的解碼速度。經實測,實際生成速度可達約 1200 tokens/s。這項突破不是單一技術的成果,而是 MiMo 模型團隊與 TileRT 系統團隊深度協作、極致「模型-系統共設計」(Codesign)的結晶。
一、速度本身就是智慧的邊界
從內燃機時代的嘶吼賽車,到劃破音障的轟鳴,人類對速度的渴望早已寫進 DNA。AI 推理的速度也不例外——它定義了智慧本身的邊界。當一個模型夠快,它就不再是一個你得等待的工具,而會變成你思緒的延伸:即時回應、瞬間迭代、無摩擦協作。
今天,我們非常興奮地宣布:小米與 TileRT 合作發布 MiMo-V2.5-Pro-UltraSpeed,首次在 1 兆參數模型上達成 1000 tokens/s 的解碼速度。實測生成速度可達約 1200 tokens/s。
二、限時申請制 API + 免費 Chat 體驗
MiMo-V2.5-Pro-UltraSpeed API 同步以限時促銷價上線——價格是 MiMo-V2.5-Pro 的 3 倍,但生成速度提升約 10 倍。3 倍價格、10 倍輸出體驗。(僅 API 模式,不支援 Token Plan。)
由於高速推理資源有限,MiMo-V2.5-Pro-UltraSpeed 將以申請制、限時窗口的方式提供。核准用戶可在試用期內使用 API,時間僅限 2026 年 6 月 9 日至 6 月 23 日 23:59(北京時間,UTC+8)。
- 申請平台:platform.xiaomimimo.com/ultraspeed
- 試用名額有限,提交申請並不保證核可,將優先考慮有真實業務需求的企業與專業開發者
- 標準模型存取請走 MiMo-V2.5 系列
- 深度商務合作請洽:[email protected]
免費 Chat 體驗(試用期間)
核准用戶將於兩週窗口內獲得免費 Chat 存取權。入口:ultraspeed.xiaomimimo.com
為確保資源受限下的品質與公平,規則如下:
- 每個帳號每天最多排隊 10 次
- 每次 session 上限 30 分鐘
- 超過 5 分鐘閒置將自動釋出
三、1000 tokens/s:不只是快,而是典範轉移
在 1 兆參數(1T)等級,突破 1000 tps 遠不止是一台更快的打字機——它根本性地顛覆了 AI 應用典範。
首先,速度本身開始轉化為智慧。
以前面對困難問題時,你只能「等一個答案然後祈禱它是對的」。現在,在同樣的時鐘時間內,模型可以並行跑數十條推理路徑(Best-of-N / 樹搜尋),在背景自動驗證、自我修正——用原始速度換來思考深度,直接提升推理品質。
其次,它徹底解放了 Coding Agent 的生產力天花板。
以前讓 AI 寫程式碼,開發者只能痛苦地盯著螢幕,被推理延遲卡住。在 1000 tps 下,程式碼生成速度與生產效率經歷典範級加速。
最重要的是,1 兆參數模型現在可以進入即時決策迴圈。
毫秒級的「思考-回應」循環,讓 1T 旗艦模型能無縫接入時間敏感的場景:
- 高頻量化交易訊號生成
- 即時反詐騙攔截
- 智慧競價
- 即時互動對話
當這份能力被帶到手術輔助、醫療影像分析等生死攸關的場景,AI 的速度就不再只是效率指標——它成為與死神賽跑的籌碼。在手術台上,AI 每省下一秒的病灶分析與風險預測時間,就為外科醫師多爭取一分餘裕。
這加深了我們的信念:速度的終極意義不只是提升生產力,而是讓科技幫助人類活得更好。
四、極致的模型-系統共設計(Codesign)
用 1T 旗艦模型達到 1000+ tokens/s 的生成速度,不是單一技術的突破——它是 MiMo 模型團隊與 TileRT 系統團隊深度協作、極致共設計的成果。
業界現行的極速方案通常依賴特殊硬體——Cerebras 的晶圓級整合,或 Groq 的純晶片上 SRAM 客製架構。我們選擇了不同路線:純粹透過模型-系統共設計,在商用 GPU 上達成更令人印象深刻的推理速度。
模型端,我們針對商用硬體的頻寬瓶頸採用 FP4 量化,大幅縮小模型體積、降低記憶體存取開銷;同時引入 DFlash——一種基於區塊級遮罩並行預測的高效投機式解碼(speculative decoding)方法,大幅提升每次驗證步驟的可接受 token 長度。
系統端,TileRT 完美適配這些演算法的動態特性,量身打造編譯引擎與運算核心,專為新穎的量化與投機式解碼管線最佳化。
透過這套極致共設計,我們僅用單一標準 8-GPU 商用節點就達成了 1T 模型的 1000+ tokens/s 輸出。
4.1 FP4 量化
在 1T 等級,傳統 8-bit(FP8 / INT8)甚至 16-bit 推理會帶來令人望而卻步的記憶體佔用與頻寬壓力。直接降低參數位寬是解碼速度的關鍵貢獻者。因此我們採用經過廣泛驗證、實務上無損的 FP4(MXFP4)量化格式 [1]。
然而,粗糙地對整個模型套用 FP4 會在複雜推理、邏輯與程式碼生成上造成退化。考量小米 MiMo-V2.5-Pro 採用的 MoE(Mixture of Experts)架構——專家層佔了絕大多數參數,且對量化的容忍度最高——我們選擇性地只將 MoE 專家層量化為 FP4,其他模組保留原精度。
透過 FP4 QAT(Quantization-Aware Training),我們在大幅縮小模型體積、最大化硬體頻寬利用率的同時,讓模型整體能力與原版基本持平。
4.2 DFlash 投機式解碼
傳統投機式解碼依賴一個小型草稿模型「猜測」後續 token,再由大模型驗證。這把自迴歸生成(每個 forward pass 1 個 token)轉變成並行的多 token 生成,驗證階段的拒絕採樣確保輸出品質無損。
但瓶頸在於:草稿模型的品質決定接受率,但更強的草稿模型會帶來更高運算開銷——這是根本性的張力。
為打破這個僵局,我們採用 DFlash——來自學術界的一種創新區塊級遮罩並行預測方法 [2]:草稿模型在單次 forward pass 中填滿整個遮罩位置的區塊,從根本上消除「自迴歸式草稿」的序列約束。我們在 MiMo-V2.5-Pro 上部署了這套方法,並針對兆級 MoE 與長文本場景做了客製化最佳化。
採用 Muon 二階優化器與模型自蒸餾,我們確保緊湊的遮罩區塊仍能達成理想接受率,同時把草稿階段開銷壓到接近理論下限:
- 草稿模型僅使用 Sliding Window Attention(SWA),與 MiMo-V2 系列的 SWA 設計自然對齊,消除了對完整前綴的依賴,把每次預測的運算量從「與上下文長度線性相關」降到「常數」
- 訓練時,遮罩訊號採樣下沉到 GPU 本地分片,單一序列可在一步中產生數萬個涵蓋不同上下文位置的獨立訓練訊號——既對齊 MiMo-V2 系列的長文本能力,又避免跨裝置通訊開銷
在結果上,我們的並行預測投機式解碼在高價值的 Agent 與 Coding 場景中達成顯著的接受長度提升,這意味著大模型在每輪驗證中可以「一口氣」確認更多內容。同時我們把區塊大小限制為 8 以降低驗證開銷、提升並行度,讓高接受長度直接轉化為高推理吞吐:
| 場景 | 接受長度 |
|---|---|
| Coding | 6.30 |
| Math / Reasoning | 5.56 |
| Agent | 4.29 |
在 Coding 場景,我們達到平均 6.30 的接受長度,部分樣本最高可達 7.14——代表每輪 8 個草稿 token 中有 6 到 7 個被接受。草稿模型保持輕量,同時把接受率推到能帶來真實端對端收益的水位。
我們也觀察到,在語意分歧更大、更高不確定性的通用對話場景,目前的接受率還不夠高。我們正在持續優化演算法,探索更高的泛化天花板。
4.3 TileRT 超低延遲推理核心 / 系統
如果 MiMo 的演算法創新解開了千億、兆級參數模型的頻寬枷鎖,那麼 TileRT 推理系統就是把商用 GPU 的每一滴物理潛力榨到微秒級的工程。
在 1000 tokens/s 的運作頻率下,每個運算子的生命週期被壓縮到微秒級,傳統推理系統的「運算子邊界」成了核心瓶頸——每次運算子啟動、硬體同步、全域記憶體往返,都在微秒尺度上撕裂執行流,暴露明顯的「執行縫隙」。
TileRT 的典範級執行模型革命
作為超低延遲推理的底層基礎設施,TileRT 引入了一套全新的執行模型,從根本上消除運算子邊界帶來的執行縫隙:
- 持久引擎核心(Persistent Engine Kernel):徹底捨棄傳統的「每運算子啟動」典範,把整條運算管線持久常駐、在 GPU 內流動。這讓全管線的持續預取成為可能——當前 Tile 還在 Tensor Core 上算的時候,下一批資料已經在記憶體層級中流動,達成資料搬移與運算的極致重疊
- Warp 專門化(異質管線協作):在 Tile 層級,通訊、資料搬移、張量運算被以更細的粒度實體解構。打破同質的 lock-step 執行模型後,不同 Warp(執行緒群組)乃至整個 GPU 上的異質執行域獨立運作卻精準協調——把 GPU 變成一個持續流動、精準編排的異質執行系統
微秒級軟硬體深度融合(Codesign)
當底層執行模型把硬體效能推到極限,純粹的執行期最佳化開始觸及物理邊界。在此基礎上,TileRT 系統團隊與小米 MiMo 團隊展開深度技術共創,打破傳統軟體層界線。為了讓模型行為與這條超低延遲執行管線完美對齊,模型層最終為 MoE 專家層採用混合 FP4 量化策略,並在兆級參數架構上部署 SWA 對齊的 DFlash 投機式解碼。TileRT 緊密耦合這些演算法特性與量化方案,提供客製化的編譯引擎與運算核心。兩個團隊基於硬體物理做了深入的聯合工程取捨,確保執行壓力在硬體邊界內平穩收斂。
1000 tokens/s 的誕生不是點狀最佳化的偶然,而是世界級系統基礎設施與極致演算法模型深度匯流、相互演化的必然結果。
關於 TileRT
TileRT 是一支專注於下一代 AI 基礎設施與超低延遲推理的前沿系統架構團隊。團隊致力於為生產環境中的前沿大模型實現毫秒級即時回應,透過全新的執行階段架構打破傳統的儲存-運算藩籬。團隊構想並實作了典範級的執行模型,透過持久核心、Tile 管線、與異質協作的全棧突破,在複雜異質生態中達成極致的運算利用率。作為核心基礎設施賦能者,團隊積極與業界領先夥伴展開硬體-軟體共設計,為渴求「終極速度」的自主智慧時代打造高效運算基石。
更多 TileRT 技術細節:tilert.ai/blog/breaking-1000-tps.html
五、更多 Demo
- 10 秒內打造一支貪食蛇遊戲
- 1 分鐘內復刻 macOS 介面
六、開源與展望
我們已在 HuggingFace 開源 MiMo-V2.5-Pro-FP4-DFlash checkpoint,包含 FP4 量化權重與 DFlash 模型參數。歡迎社群使用與回饋:
- huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash
MiMo-V2.5 的 UltraSpeed 支援也在路上,敬請期待。
MiMo × TileRT——極致的模型-系統共設計,為兆級參數模型交付 1000 tps 的輸出速度。
[1] OCP Microscaling Formats (MX) v1.0 Spec: opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf
[2] DFlash: arxiv.org/abs/2602.06036
小米 MiMo 團隊 · 2026
網友熱門留言 (6)