← 返回 Siami 首頁

Google DeepMind 推出 DiffusionGemma:本地 AI 速度 4 倍提升

▲ 244 💬 58
Google DeepMind 推出 DiffusionGemma:本地 AI 速度 4 倍提升

Google DeepMind 推出 DiffusionGemma,主打「本地 AI 速度 4 倍提升」,徹底顛覆主流自迴歸模型的單字接單字生成方式,改用「擴散式平行生成」,一次把整段文字攤開來處理。

不是逐字生成,是「整塊一起畫」

大多數 AI 模型都屬於「自迴歸式」——從左到右、一次吐一個 token。但 DiffusionGemma 不一樣,它的運作方式比較接近圖像生成常用的擴散模型:先在「畫布」上鋪滿 placeholder token,反覆跑好幾輪去雜訊,每一輪根據已經生成的部分去推敲其他位置,最後一次吐出一整塊「降噪完成」的文字。

規模、速度、硬體需求

  • 總參數量 260 億,啟用 38 億(MoE 混合專家架構)
  • 高階 GPU 18GB VRAM 就能跑
  • RTX 5090:約 700 tokens/秒
  • 單張 H100:超過 1,000 tokens/秒
  • 同尺寸自迴歸 Gemma 約只能跑 250 tokens/秒左右

也就是說在本地硬體上,DiffusionGemma 速度大約是傳統 Gemma 的 4 倍。

雲端不用,本地卻超適合

為什麼 Google 不在 Gemini 大型雲端模型用這套?理由有兩個:

  1. 錯誤率較高——圖片擴散模型一個像素錯了無傷大雅,但語言是離散的,一塊 token 壞掉就整段報廢。
  2. 短輸出浪費——擴散需要做大量平行運算才能收斂到少數幾個 token,自迴歸反而一步到位。

但對本地、低併發場景剛好相反:

  • 雲端 HBM 高頻寬、可以把 GPU 隨時塞滿工作
  • 本地記憶體頻寬低、GPU 經常閒置
  • 擴散模型正好能把閒置的算力榨乾,一次最多平行生成 256 個 token

Google 同時也開始為 Gemma 套上 Multi-Token Prediction (MTP) 草稿器,用多餘算力預測可能的 token 來加速,但擴散模型比 MTP 版 Gemma 還快。

真正會用到的場景

Google 強調以下任務的提升特別明顯:

  • 文字內聯編輯
  • 分子序列預測
  • 數學圖形生成
  • 數獨(傳統自迴歸模型最痛的工作,因為每個 token 依賴未來的 token)

擴散模型可以連續自我修正一大塊 token,讓這類需要「回頭修補」的工作變得可行。

授權與下載

DiffusionGemma 採用 Apache 2.0 開源授權,與其他第四代 Gemma 模型相同。模型權重今天就能從 Hugging Face 下載,Google 也跟 Nvidia 合作,確保能在各種高階 RTX GPU(量化版)以及 H100、DGX Spark 等企業級系統上順暢運行。

雖然 Google 強調這仍是實驗性質,但「本地 AI 提速 4 倍」對開發者社群來說,是一個值得認真追蹤的方向。

網友熱門留言 (6)

#1 minimaxir (Hacker News) 0
前幾天我還在想,Google 自從去年 I/O 展示擴散式文字生成模型後就再也沒提過。謠傳是因為運作成本太高,但從圖表來看,用同樣 1 顆 H100 跑 DiffusionGemma 跟一般 Gemma 對比,這個說法似乎不太成立。我很好奇這次加速除了差一點點品質之外還有什麼副作用。
#2 ac29 (Hacker News) 0
DiffusionGemma 的加速是為本地與低併發推論設計的。在高 QPS 雲端服務場景,自迴歸模型可以把運算資源塞得很滿,平行解碼的效益會遞減,反而可能讓服務成本上升。
#3 GaggiX (Hacker News) 0
用標準自迴歸模型可以同時給 256 個用戶各生 256 個 token;這個方法只服務單一用戶的 256 個 token,卻需要好幾次 forward pass。擴散過程的 GFLOPs 比較多,用戶數量夠多的話本來就能平衡記憶體跟運算負載。
#4 rvz (Hacker News) 0
我們需要更多本地能跑、表現又好的開源權重模型,跟最頂級封閉模型一樣強(或夠好)。這樣才能實現『傑文斯悖論』,享受生產力提升卻不用付封閉模型那種貴到搶劫的 token 價,也不用擔心被默默降級。
#5 kkukshtel (Hacker News) 0
我覺得這就是未來。那種當下覺得是邊緣雜音,5 年後變成大地震的技術。
#6 lambda (Hacker News) 0
這可能是本地模型的未來。但擴散模型在文字任務上表現還是比自迴歸差一些,會犧牲一點品質。真正的優勢是速度——本地推論的自迴歸模型基本上是記憶體頻寬瓶頸,每個 token 都要把所有權重載入一次。MTP 雖然有用,但擴散還是比 MTP 版的 Gemma 更快。