← 返回 Siami 首頁

Google DeepMind 開源 DiffusionGemma:本地推論速度飆四倍,重新定義文字生成

▲ 313 💬 27
Google DeepMind 開源 DiffusionGemma:本地推論速度飆四倍,重新定義文字生成

DiffusionGemma:文字生成速度提升四倍

我們最新的開放實驗模型,在專用 GPU 上可提供高達四倍速的推論效能,為探索對速度敏感、強調互動性的本地工作流程開啟了大門。

今天,我們正式推出 DiffusionGemma——一款實驗性質的開放模型,致力於探索文字擴散(text diffusion)這項極為快速的文字生成技術。這款採用 Apache 2.0 授權釋出的 26B 參數專家混合(Mixture of Experts, MoE)模型,跳脫了傳統自迴歸大型語言模型(LLM)那種逐字元依序處理的框架,轉而以平行方式一次生成整段文字區塊,在 GPU 上可達到最高四倍速的文字生成表現。

DiffusionGemma 建構在 Gemma 4 系列領先業界的「每參數智慧」之上,並融合了 Gemini Diffusion 的尖端研究成果,整合了全新設計的擴散頭(diffusion head)以極大化生成速度。雖然自迴歸版本的 Gemma 4 模型仍是高品質生產輸出的標準,DiffusionGemma 的目標客群,則是那些正在探索對速度敏感、強調即時互動的本地工作流程的研究人員與開發者——例如行內編輯、快速迭代、以及生成非線性文字結構等情境。

為開發者解鎖全新價值

打造即時互動 AI 應用的開發者,經常得面對本地推論的延遲瓶頸。DiffusionGemma 直球回應這些挑戰,但同時也帶來幾項關鍵的權衡:

飛快推論速度:透過將解碼瓶頸從記憶體頻寬轉移至運算,DiffusionGemma 在專用 GPU 上可生成最高四倍速的 token 輸出(單張 NVIDIA H100 可達每秒 1,000+ token,NVIDIA GeForce RTX 5090 則可達每秒 700+ token)。

親民的硬體門檻:這款 26B 總參數的 MoE 模型在推論時僅啟動 3.8B 參數,經量化後可輕鬆塞進高階消費級 GPU 的 18GB VRAM 限制。

雙向注意力機制:每次前向傳遞以 256 個 token 為單位平行生成,使每個 token 都能與所有其他 token 互相參照。這對於非線性領域(例如行內編輯、程式碼填空、胺基酸序列或數學圖形)帶來了顯著優勢。

智慧型自我修正:模型會反覆迭代地優化自己的輸出,能即時評估整段文字區塊並修正錯誤。

實驗性質與生產建議:由於優先追求速度與平行版面生成,DiffusionGemma 的整體輸出品質仍低於標準 Gemma 4。對於追求極致品質的應用,我們建議部署標準版 Gemma 4。

你可以透過微調來提升 DiffusionGemma 在特定任務上的表現。在下方範例中,Unsloth 將 DiffusionGemma 微調成會玩數獨的版本——這項任務之所以對自迴歸模型來說特別困難,是因為每個 token 都仰賴後續 token 的結果;而 DiffusionGemma 的雙向注意力機制則讓這件事變得簡單許多。

(微調後的 DiffusionGemma 正在解數獨)

為何文字需要擴散?

雖然 AI 研究社群探索基於擴散機制的文字生成已有多年,但要把這項技術套用到大規模模型上,一直是個難題。DiffusionGemma 改變了這個局面,方法就是翻轉模型使用硬體的方式。

傳統模型的權衡

大多數語言模型的運作方式就像一部打字機,從左到右、一次生成一個 token。在雲端環境中,這種模式其實相當有效率,因為伺服器可以把成千上萬用戶的請求批次處理,藉此分攤硬體負載。但若改成在本地為單一使用者執行,這種逐字生成的過程會讓你的專用 GPU 或 TPU 閒置大半時間——它把絕大多數時間都花在「等待下一個按鍵」上。

DiffusionGemma 翻轉了這種低效率。它不再依序預測詞彙,而是同時草擬出整段 256 token 的段落。透過一次餵給處理器更大塊的工作量,DiffusionGemma 讓你的硬體發揮出全部潛力。它把你的模型推論從一部單線作業的「序列打字機」升級成一台「大型印刷機」,能一次壓印出整段文字。

(Hugging Face 推出的 DiffusionGemma 文字轉 3D SVG 展示,逐步生成)

這代表 DiffusionGemma 的速度加成,是專為本地與低並行推論所設計。在高 QPS 的雲端服務場景中,自迴歸模型可以被部署到有效率地榨乾運算資源,因此 DiffusionGemma 的平行解碼反而報酬遞減,甚至可能導致更高的服務成本。其吞吐量優勢在單顆加速器、低至中等批次大小的情境下最為顯著。

文字擴散如何運作?

與 AI 影像生成器從視覺雜訊開始、反覆精煉成清晰圖片的過程類似,DiffusionGemma 把這套邏輯搬到了文字上:

畫布階段:模型從一片由隨機佔位 token 組成的「畫布」起步。

反覆精煉:模型進行多輪迭代,鎖定正確的 token,並以這些 token 作為線索,持續優化剩餘的內容。

最終定稿:文字收斂成高品質的輸出。

因為模型能在生成的同時處理整個段落,它解鎖了嶄新的模型行為模式——例如完美收束複雜的 Markdown 格式,或是近乎即時地生成並渲染程式碼。

下載模型權重:實驗性的模型權重(採用寬鬆的 Apache 2.0 授權)現已於 Hugging Face 開放下載。

整合與學習:歡迎參考我們的 DiffusionGemma 開發者指南進一步了解;或者深入研讀《A Visual Guide to DiffusionGemma》這份視覺化指南,從底層機制一路理解透徹。

用你熟悉的開發工具部署:可透過 MLX、vLLM(由 Red Hat 提供整合支援)以及 Hugging Face Transformers 高效部署此模型。為了方便快速實驗,我們也將釋出以 Hackable Diffusion(專為組合性設計的模組化 JAX 工具組)撰寫的微調教學。你還能用 Unsloth 與 NVIDIA NeMo 來探索微調。此外,llama.cpp 的官方支援也即將到來。

體驗最佳化後的效能表現:我們與 NVIDIA 合作,針對其硬體堆疊進行全面優化,確保模型能同時相容於消費級設備(已為 GeForce RTX 5090 與 4090 GPU 完成量化)以及高效能企業級系統(採用 NVFP4 核心的 Hopper 與 Blackwell),其中包含適用於桌面部署的 NVIDIA DGX Spark 與 DGX Station,以及為 AI 專業人士設計的 RTX PRO。NVFP4(4 位元浮點數)原生支援可加速運算吞吐量,讓模型能以逼近無損的精度跑得更快。

隨你喜歡的方式開跑:在你的桌機專用 GPU 上跑、或是透過 Gemini Enterprise Agent Platform Model Garden 與 NVIDIA NIM 部署到雲端都行。

網友熱門留言 (5)

#1 minimaxir ▲ 187
前幾天我還在想,Google 自從去年 I/O demo 之後再也沒提過他們的擴散式文字生成模型。當時的傳聞是執行成本太高,但這次他們提供了同樣是 1 張 H100 硬體下 DiffusionGemma 對比一般 Gemma 的數據,看起來不該是成本問題。倒是很好奇除了「比 Gemma 稍微弱」之外,這個速度背後的取捨到底是什麼。
#2 GaggiX ▲ 142
以標準自迴歸模型來說,如果你有 256 個用戶,就能一次生成 256 個 token;但用這個方法,你一個用戶就能一次生成 256 個 token,卻得跑好幾次前向傳遞。所以擴散過程會消耗更多 GFLOPs——只要你的用戶數量夠多,自迴歸其實就已經能榨滿硬體了。
#3 rvz ▲ 98
我們需要更多本地可跑、表現又好(或者至少夠用)的開放權重模型,讓大家能跟那些頂級封閉模型平起平坐。如此一來就能達到『傑文斯悖論』,享受同樣的『生產力紅利』,卻不用付那些封閉模型供應商敲竹槓的 token 費用。
#4 lambda ▲ 76
這可能就是本地模型的未來。問題在於,擴散模型在文字任務上表現比自迴歸稍差,所以會犧牲一些效能。真正的優勢是速度——本地推論的自迴歸模型幾乎都受限於記憶體頻寬,一次只能算一個 token,而擴散則能把整段一次吐出。
#5 kkukshtel ▲ 64
我覺得這就是未來的樣子。那種看似邊緣的隆隆聲,會在五年內變成一場大地震。