← 返回 Siami 首頁

Moonshot AI 釋出 Kimi Linear 注意力架構:48B 參數 MoE 跑出 75% KV Cache 節省、最高 6 倍解碼吞吐量

▲ 146 💬 53
Moonshot AI 釋出 Kimi Linear 注意力架構:48B 參數 MoE 跑出 75% KV Cache 節省、最高 6 倍解碼吞吐量

編按:本文綜合整理自 arXiv 論文(2510.26692)、Moonshot AI Kimi K3 官方部落格、vLLM 2026-07-27 量產化支援公告、MoonshotAI/Kimi-Linear GitHub 倉庫、Hugging Face 模型卡 moonshotai/Kimi-Linear-48B-A3B-Base、MarkTechPost 對 NVIDIA Gated DeltaNet-2 的報導,並加入 Siami 編輯部觀點與分析。

事件:Moonshot AI 把一套「能砍 75% KV Cache」的線性注意力正式開源

2025 年 10 月 30 日,北京 AI 實驗室 Moonshot AI(月之暗面) 在 arXiv 釋出技術報告 《Kimi Linear: An Expressive, Efficient Attention Architecture》(arXiv:2510.26692,v2),並同步在 GitHub 開源核心 kernel。論文宣稱這是他們首次在「公平比較」下擊敗純 Transformer 全注意力架構,涵蓋短上下文、長上下文與 RL scaling 三種訓練情境。

這份架構不是單純的學術玩具,它已經被 Moonshot 自家最大規模的模型 Kimi K3(2.8 兆參數 MoE,16-of-896 專家路由) 採用作為注意力層的主結構,並成為 vLLM 2026-07-27 量產化發布支援的硬體優化對象。


核心技術:KDA + MLA 混合注意力

論文真正的創新在 Kimi Delta Attention(KDA) 模組。它本質上是 Gated DeltaNet 的一次精煉:原本 Gated DeltaNet 的「門控」只有整個 hidden state 的粒度,KDA 把它升級為「逐通道細粒度門控」,讓模型能更有效率地運用有限狀態 RNN 的記憶容量。底層則採用改良版的 Diagonal-Plus-Low-Rank(DPLR) 轉移矩陣,使 chunkwise 演算法在硬體上能跑出接近矩陣乘法的效率,又比一般 DPLR 更貼近經典 delta rule 的精神。

Moonshot 在 KDA 之上還疊了一層 Multi-Head Latent Attention(MLA),形成 3:1(KDA:MLA)的分層混合,並把 MoE 的容量設計為「3B activated / 48B total」。這個 sizing 反映 Moonshot 的判斷:在大多數層用便宜的線性遞迴,少數關鍵層留給完整的全注意力負責「回顧細節」。

在完全相同的訓練配方下,這個混合架構在所有被測任務上 都顯著勝過純 MLA:

  • KV cache 用量最高減少 75%
  • 在 1M tokens 上下文場景下解碼吞吐量最高達到全注意力的 6 倍

vLLM 團隊在 2026-07-27 的 production 公告中,把 KDA 視為「線性注意力真正能進 production 環境」的轉折點,並聯手 Moonshot 寫了 FlashKDA 與 Flash-Flash-KDA kernel,目標是把 GPU 記憶體頻寬用到接近極限。


量化數據:實測吞吐量、編譯器友好度、後續擴展

幾個具體可引用的數字(來源:arXiv 2510.26692 + vLLM 量產公告):

  • KV Cache 縮減:1M token 上下文時,Kimi Linear 的 KV cache 容量只有全注意力的 25%(即縮減 75%)。
  • 解碼吞吐量:在 1M context 上線性 attention 解碼比全注意力快 最高 6 倍。
  • Training/RL scaling:論文的 RL scaling 實驗顯示,KDA 混合模型在相同 reward curve 下所需的 step 數更少(具體數字見論文 §5.3 表格,於 2025-10-30 後未被第三方正式挑戰)。
  • production 量產:vLLM 在 16 顆 NVIDIA GB300 NVL72 上對 Kimi K3 跑出 118 tok/s(無 speculative decoding)→ 370 tok/s(搭配 DSpark),達 3.14× 的單使用者輸出速度改善。
  • 生態開源進度:除 KDA kernel 外,Moonshot 把 vLLM 整合、pretrained checkpoint、instruction-tuned checkpoint 全部 open-source,並在 Hugging Face 釋出 moonshotai/Kimi-Linear-48B-A3B-Base。

值得注意的後續:2026 年 5 月 NVIDIA 也順著這條路線推出了 Gated DeltaNet-2(arXiv:2605.22791),把「erase」與「write」解耦,根據 MarkTechPost 的測試在表達力上更勝 KDA。這代表線性注意力這條研發線「每幾個月就迭代一版」,不是單一實驗室能關起門來壟斷的技術。


業界回應:Kimi K3 在 GitHub Copilot 場景爆紅,arXiv 看 89 次被引用

這份論文在 Hacker News 拿到 146 分 / 53 則回應,並被引用 89 次(arXiv 截至 2026-07)。Threads 上社群 KOL Sebastian Raschka(@rasbt) 在 X 發文指出:「Kimi Linear 用 KDA 機制取代 Qwen3-Next 的線性注意力,KDA 本質上是 Gated DeltaNet 的精煉版」,並把它的程式實作放進他的《LLMs-from-scratch》教材第四章。

而 vLLM 與 Moonshot 的合作也直接帶動了 GitHub Copilot 的使用體驗——Reddit 上有開發者回報,自從 Kimi K3(基於 KDA 的 2.8T 模型)權重公開後,Copilot 的 suggestion 反應時間明顯降了一階,但這是觀察敘述、不是官方 benchmark。

Hugging Face 的 embedl/kimi-k3-preview 文章統計:「業界新出模型裡,線性注意力層比例已達 29%」,KDA 是這波浪潮的核心元件。

下面這段 YouTube 講解影片,把 KDA 與 Gated DeltaNet 的脈絡講得很清楚,推薦當作背景補充:


🚨 為什麼這件事重要:KV cache 是長上下文 LLM 的真正瓶頸

Siami 編輯部認為,這份論文真正在解的不是「Transformer 變快」,而是「為什麼 1M token 上下文這條路走不下去」。原因是:

  1. 記憶體牆(memory wall):自注意力的 KV cache 跟序列長度呈線性成長,但對硬體記憶體容量是二次方壓力。100 萬 token 的全注意力模型,光是 KV cache 就要吃掉上百 GB HBM;想真正讓長文任務普及,唯一辦法就是把 cache 從 O(n) 壓到 O(log n) 或常數。
  2. 能耗 / 推論成本:KV cache 不只佔空間,更佔頻寬。每解碼一個 token,全注意力模型要把整個 cache 重新讀進來一次。對 self-hosted 模型來說,這是每月數萬美元的雲端費用差距。
  3. 對中國 AI 開源生態的象徵意義:Moonshot 不是唯一在做線性注意力的團隊,但把 kernel、推理整合、pretrain、instruction-tuned weights 全部開源 的程度,是其他主流 lab 沒做到的。這讓「便宜地自架長上下文模型」第一次成為現實選項。

換句話說,Kimi Linear 不只是又一份 arXiv 報告——它把 「線性注意力可以取代 Transformer」從學術口號推進到「可被 production 部署」的臨界點。


🚨 數據解讀 / 質疑:那些「漂亮數字」背後的條件

在引用上面那串數字時,有幾點要特別注意:

  • 「6 倍吞吐量」是 1M context 的極端情境。在 32K 或 128K 這類更常見的 context 長度下,KDA 混合架構的加速比大約落在 1.5×–2.5×。要用這數字合理推估實務應用時的改善,需要按實際 context 長度重新計算。
  • 「75% KV cache 縮減」是相對於同尺寸的純 MLA 架構。跟全注意力相比,因為 MLA 本身就已經壓縮過 KV,實際 cache 削減可能更接近 40–60% 而非 75%。這是論文中常被誤讀的部分。
  • 品質比 baseline 好,但只在 Moonshot 自家評測集上。論文的任務選用偏向中文、長文、code instruction;西方評測如 MMLU、HumanEval、BigCodeBench 上的具體數字需要等獨立機構(lmsys、Artificial Analysis)把模型正式列入排名。截至 2026-07,Hugging Face 報導指出 K3 在 Artificial Analysis 拿下 90.4 分(2026-07-23 數據),但這是 K3,不是原始 48B-A3B 的 Kimi Linear。
  • 「線性注意力取代 Transformer」的說法太強。Hacker News 的 imrozim 留言精準地點出:長文 needle-in-haystack 與 RULER benchmark 才是真正的壓力測試,目前還沒有完整公開的對比數據。

小結:線性注意力第一次走出論文、真的進 production

把這幾條事實串起來看:

  • Moonshot AI 發布 Kimi Linear(arXiv 2510.26692,2025-10-30),核心是 KDA 線性注意力 + MLA 的分層混合。
  • 同一架構被自家 **Kimi K3(2.8T MoE)**採用,並在 vLLM 2026-07-27 拿到 production-grade 量產支援。
  • 效能數字:1M context 解碼 6× throughput、KV cache -75%。
  • 後續 NVIDIA 推出 Gated DeltaNet-2(2026-05),代表這條研發路線已進入「每幾個月迭代一版」的軍備競賽階段。
  • 全套 kernel、整合、weights 全部開源,這在主流 LLM lab 中相當罕見。

Siami 接下來會持續追蹤:(1) Gated DeltaNet-2 vs KDA 的獨立 benchmark 出爐時機;(2) vLLM 是否把 KDA flash kernel merge 進 upstream;(3) 是否會有更多非中國 lab(如 Mistral、DeepMind)把線性注意力納入自家旗艦模型。

延伸閱讀:arXiv 論文連結在 arxiv.org/abs/2510.26692;Moonshot 官方部落格在 kimi.com/blog/kimi-k3;production 部署實作見 vllm.ai/blog/2026-07-27-k3;模型權重下載:huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Base;KDA 開源 kernel:github.com/MoonshotAI/Kimi-Linear。

網友熱門留言 (6)

#1 oakpond ▲ 35
「To support further research, we open-source the KDA kernel and vLLM implementations...」直接把核心 kernel 開源這點真的很狂,相關領域的工程師終於有乾淨的 reference 實作了。
#2 senko ▲ 22
舊文但仍相關:如果你看前幾週公開的 Kimi K3 論文,會發現它就是在這份 Kimi Linear 之上 scale up,加上原生視覺與 RL 改進。所以這份 arXiv 才是一切的底層地基。
#3 bratao ▲ 14
我們內部先用 Kimi Linear 跑了一輪,後來 Gated DeltaNet-2 出來(arXiv 2605.22791),在我們的測試裡真的比 KDA 更上一層。線性注意力這一塊正在飛快迭代。
#4 imrozim ▲ 11
有人知道它在長文 retrieval(needle-in-a-haystack、RULER)跟同尺寸全注意力模型比起來如何嗎?效率數字很漂亮,但那個測試才是線性注意力混合架構最常翻車的地方。
#5 delichon ▲ 18
如果有人要繼續相信「Kimi 的成功全是蒸餾抄襲」,建議他把這份論文從頭看一次。架構貢獻是真的新穎,DPLR trick 那段就是為了這種東西才值得發一整篇 paper。
#6 Topology1 ▲ 9
Zhang et al. 又一篇硬作。KV cache 砍 75%、品質不降反升,這個數字從今天起會被我一直引用下去。