Google DeepMind 推出 DiffusionGemma,主打「本地 AI 速度 4 倍提升」,徹底顛覆主流自迴歸模型的單字接單字生成方式,改用「擴散式平行生成」,一次把整段文字攤開來處理。
不是逐字生成,是「整塊一起畫」
大多數 AI 模型都屬於「自迴歸式」——從左到右、一次吐一個 token。但 DiffusionGemma 不一樣,它的運作方式比較接近圖像生成常用的擴散模型:先在「畫布」上鋪滿 placeholder token,反覆跑好幾輪去雜訊,每一輪根據已經生成的部分去推敲其他位置,最後一次吐出一整塊「降噪完成」的文字。
規模、速度、硬體需求
- 總參數量 260 億,啟用 38 億(MoE 混合專家架構)
- 高階 GPU 18GB VRAM 就能跑
- RTX 5090:約 700 tokens/秒
- 單張 H100:超過 1,000 tokens/秒
- 同尺寸自迴歸 Gemma 約只能跑 250 tokens/秒左右
也就是說在本地硬體上,DiffusionGemma 速度大約是傳統 Gemma 的 4 倍。
雲端不用,本地卻超適合
為什麼 Google 不在 Gemini 大型雲端模型用這套?理由有兩個:
- 錯誤率較高——圖片擴散模型一個像素錯了無傷大雅,但語言是離散的,一塊 token 壞掉就整段報廢。
- 短輸出浪費——擴散需要做大量平行運算才能收斂到少數幾個 token,自迴歸反而一步到位。
但對本地、低併發場景剛好相反:
- 雲端 HBM 高頻寬、可以把 GPU 隨時塞滿工作
- 本地記憶體頻寬低、GPU 經常閒置
- 擴散模型正好能把閒置的算力榨乾,一次最多平行生成 256 個 token
Google 同時也開始為 Gemma 套上 Multi-Token Prediction (MTP) 草稿器,用多餘算力預測可能的 token 來加速,但擴散模型比 MTP 版 Gemma 還快。
真正會用到的場景
Google 強調以下任務的提升特別明顯:
- 文字內聯編輯
- 分子序列預測
- 數學圖形生成
- 數獨(傳統自迴歸模型最痛的工作,因為每個 token 依賴未來的 token)
擴散模型可以連續自我修正一大塊 token,讓這類需要「回頭修補」的工作變得可行。
授權與下載
DiffusionGemma 採用 Apache 2.0 開源授權,與其他第四代 Gemma 模型相同。模型權重今天就能從 Hugging Face 下載,Google 也跟 Nvidia 合作,確保能在各種高階 RTX GPU(量化版)以及 H100、DGX Spark 等企業級系統上順暢運行。
雖然 Google 強調這仍是實驗性質,但「本地 AI 提速 4 倍」對開發者社群來說,是一個值得認真追蹤的方向。
網友熱門留言 (6)