Kimi K3 跑上 AMD MI355X：單節點 952 tok/s，性價比超越 B300

編按：本文綜合整理自 Wafer 技術報告、Kimi K3 官方模型頁與 AMD 技術資料，並加入 Siami 編輯部觀點與數據解讀。

Kimi K3 的 2.8 兆參數規模，把大型語言模型部署的競爭焦點從單純算力推向記憶體容量、推論軟體成熟度與實際租用成本。推論服務商 Wafer 公布測試，使用 8 張 AMD Instinct MI355X 執行 Kimi K3，在指定的 1,024-token 輸入與 400-token 輸出負載下，測得每節點峰值 952 tokens/s，單串流解碼速度 118 tokens/s。

這份結果並不是宣稱 MI355X 在所有指標上都擊敗 NVIDIA B300。B300 節點的峰值總吞吐量仍達 1,568 tokens/s，約為 MI355X 的 1.65 倍；Wafer 的核心論點是，當 GPU 租用價格納入計算後，MI355X 每美元可提供更多吞吐量。

2.8 兆參數讓記憶體成為部署門檻

Kimi K3 官方資料顯示，模型具有 2.8 兆參數、原生多模態能力與最高 100 萬 token 上下文。Wafer 估算，僅模型權重就需要超過 1.5TB VRAM，尚未計入長上下文所需的 KV cache。這使單一 8 卡 B200 節點難以同時容納權重與完整快取，必須跨兩個節點部署。

MI355X 與 B300 每張 GPU 都提供 288GB HBM，因此 8 卡節點具備容納這類超大型模型的條件。相較之下，跨節點 B200 配置還必須承擔通訊成本；Wafer 測試中的 16 張 B200 透過兩個節點運作，解碼關鍵路徑受到約 195 Gb/s RoCE v2 網路上的 all-reduce 影響。

部署條件的差異可整理如下：

• 8× MI355X：單串流 118 tok/s，峰值總吞吐 952 tok/s。
• 16× B200、跨兩節點：單串流 90 tok/s，峰值總吞吐 498 tok/s。
• 8× B300：單串流 172 tok/s，峰值總吞吐 1,568 tok/s。
• Wafer 採用的每 GPU 小時價格分別為 MI355X 2.50 美元、B200 4.25 美元、B300 6 美元。

軟體修補帶來兩段關鍵加速

Kimi K3 雖然已獲 AMD 的首日支援，Wafer 仍遇到 ROCm 推論路徑的軟體問題。第一個問題出現在 SGLang 的推測解碼驗證器：CUDA 版本可呼叫 top_k_renorm_prob，ROCm 分支卻未定義對應函式，導致排程器在特定請求路徑直接失敗。

團隊沒有另寫客製 GPU kernel，而是以 PyTorch 實作 top-k 機率重新正規化：保留最高的 k 個機率、將其餘值歸零，再把保留值調整為總和 1。配合外部區塊擴散草稿模型 Kimi-K3-DSpark，單串流效能約提升 2.2 倍，中等負載下每串流效能約提升 1.7 倍，峰值總吞吐增加 18%。

第二個瓶頸是 prefill。相同的 17.2 萬 token 冷啟動 prefill，在 MI355X 原本約需 51 秒，B300 約為 23 秒。原因並非硬體完全無力，而是 Kimi K3 在 TP8 配置下每 rank 有 12 個 attention heads，不符合 AITER MLA 快速核心偏好的 4、8 或 16 倍數形狀，系統因此退回較慢的通用 Triton attention。

Wafer 將 12 個 heads 補零至 16 個，執行快速核心後再取回真正的 12 個輸出。修改後，prefill 穩態速度由約 4,000 至 7,000 tok/s 提升到約 13,000 tok/s，約有 2 至 3 倍改善。這項優化不會提高解碼表中的峰值吞吐，卻能縮短使用者最直接感受到的首 token 等待時間。

數據解讀：性價比勝出不等於全面勝出

依 Wafer 表格，MI355X 的每 GPU 峰值吞吐為 119 tok/s，B300 為 196 tok/s；若只比較絕對效能，B300 明顯領先。換算其採用的租用價格後，MI355X 為每美元 48 tok/s，B300 為每美元 33 tok/s，B200 跨節點配置則為每美元 7 tok/s。以該組價格計算，MI355X 的效能價格比約比 B300 高 45%。

不過，這不是硬體實驗室的完全對等測試。三種配置的節點數、GPU 數量、平行策略與通訊條件不同；B200 數字尤其受到跨節點架構拖累。價格也是 Wafer 使用的雲端報價，不等同每家供應商、長約或自建機房的總持有成本。模型版本、量化精度、批次大小、延遲目標與輸入長度改變後，排名都可能不同。

另一個值得注意的交叉驗證是 AMD 公布的 MLPerf Inference 6.0 結果：MI355X 單節點在多項標準工作負載上接近 B300，但 MLPerf 與 Wafer 的 Kimi K3 測試並非同一模型或同一軟體堆疊，不能直接混為一組結論。它只能說明 MI355X 在標準基準與超大型開放模型部署上，都已具備實際競爭力。

為什麼這件事重要

AI 基礎設施的「護城河」長期被視為 CUDA 軟體生態，但 Kimi K3 案例顯示，當模型大到單節點記憶體容量決定能否部署時，HBM 容量與 GPU 租價也可能改寫選擇。MI355X 並未消除 ROCm 的相容性問題；相反地，Wafer 確實遇到缺少函式與核心形狀不匹配。然而，兩個主要問題都能以相對小型的軟體修補處理，而不必重寫複雜的客製核心。

這對開放權重模型生態有三層意義。第一，服務商不必將所有超大型模型綁定單一 GPU 供應商，採購與雲端議價空間增加。第二，模型開發者若在發布首日同步提供 ROCm 支援，可顯著降低替代硬體的導入成本。第三，真正影響產品體驗的不只是 decode tok/s，還包括 prefill、首 token 延遲、併發量與長上下文記憶體需求；只用一個峰值數字比較 GPU，容易忽略服務成本的全貌。

Wafer 的結果仍需要更多獨立團隊以公開設定重現，尤其要在相同延遲限制、精度與租用條件下進行對照。但它已提供一個具體訊號：NVIDIA 在絕對效能上仍強，AMD 則可能藉由大容量 HBM、較低價格與逐步成熟的軟體支援，在超大型模型推論市場形成更有力的第二選擇。

後續觀察重點

未來評估同類結果時，至少應追蹤以下項目：

1. Kimi K3 在不同輸入長度與併發量下的端到端延遲。
2. MI355X 優化是否會合併進 SGLang、AITER 或 ROCm 上游版本。
3. 第三方能否在相同價格與精度假設下重現每美元吞吐。
4. B300 使用更完整的推測解碼與最佳化設定後，差距是否改變。
5. 長期運作的功耗、穩定性與維護人力是否抵銷租價優勢。

這場競爭尚未證明 CUDA 護城河已經消失，卻顯示硬體選擇不再能只看品牌與理論算力。對部署超大型模型的團隊而言，能否把模型放進單節點、軟體問題能否快速修復，以及每一美元最終換到多少可用 token，正成為同等重要的決策條件。