DiffusionGemma:文字生成速度提升四倍
我們最新的開放實驗模型,在專用 GPU 上可提供高達四倍速的推論效能,為探索對速度敏感、強調互動性的本地工作流程開啟了大門。
今天,我們正式推出 DiffusionGemma——一款實驗性質的開放模型,致力於探索文字擴散(text diffusion)這項極為快速的文字生成技術。這款採用 Apache 2.0 授權釋出的 26B 參數專家混合(Mixture of Experts, MoE)模型,跳脫了傳統自迴歸大型語言模型(LLM)那種逐字元依序處理的框架,轉而以平行方式一次生成整段文字區塊,在 GPU 上可達到最高四倍速的文字生成表現。
DiffusionGemma 建構在 Gemma 4 系列領先業界的「每參數智慧」之上,並融合了 Gemini Diffusion 的尖端研究成果,整合了全新設計的擴散頭(diffusion head)以極大化生成速度。雖然自迴歸版本的 Gemma 4 模型仍是高品質生產輸出的標準,DiffusionGemma 的目標客群,則是那些正在探索對速度敏感、強調即時互動的本地工作流程的研究人員與開發者——例如行內編輯、快速迭代、以及生成非線性文字結構等情境。
為開發者解鎖全新價值
打造即時互動 AI 應用的開發者,經常得面對本地推論的延遲瓶頸。DiffusionGemma 直球回應這些挑戰,但同時也帶來幾項關鍵的權衡:
飛快推論速度:透過將解碼瓶頸從記憶體頻寬轉移至運算,DiffusionGemma 在專用 GPU 上可生成最高四倍速的 token 輸出(單張 NVIDIA H100 可達每秒 1,000+ token,NVIDIA GeForce RTX 5090 則可達每秒 700+ token)。
親民的硬體門檻:這款 26B 總參數的 MoE 模型在推論時僅啟動 3.8B 參數,經量化後可輕鬆塞進高階消費級 GPU 的 18GB VRAM 限制。
雙向注意力機制:每次前向傳遞以 256 個 token 為單位平行生成,使每個 token 都能與所有其他 token 互相參照。這對於非線性領域(例如行內編輯、程式碼填空、胺基酸序列或數學圖形)帶來了顯著優勢。
智慧型自我修正:模型會反覆迭代地優化自己的輸出,能即時評估整段文字區塊並修正錯誤。
實驗性質與生產建議:由於優先追求速度與平行版面生成,DiffusionGemma 的整體輸出品質仍低於標準 Gemma 4。對於追求極致品質的應用,我們建議部署標準版 Gemma 4。
你可以透過微調來提升 DiffusionGemma 在特定任務上的表現。在下方範例中,Unsloth 將 DiffusionGemma 微調成會玩數獨的版本——這項任務之所以對自迴歸模型來說特別困難,是因為每個 token 都仰賴後續 token 的結果;而 DiffusionGemma 的雙向注意力機制則讓這件事變得簡單許多。
(微調後的 DiffusionGemma 正在解數獨)
為何文字需要擴散?
雖然 AI 研究社群探索基於擴散機制的文字生成已有多年,但要把這項技術套用到大規模模型上,一直是個難題。DiffusionGemma 改變了這個局面,方法就是翻轉模型使用硬體的方式。
傳統模型的權衡
大多數語言模型的運作方式就像一部打字機,從左到右、一次生成一個 token。在雲端環境中,這種模式其實相當有效率,因為伺服器可以把成千上萬用戶的請求批次處理,藉此分攤硬體負載。但若改成在本地為單一使用者執行,這種逐字生成的過程會讓你的專用 GPU 或 TPU 閒置大半時間——它把絕大多數時間都花在「等待下一個按鍵」上。
DiffusionGemma 翻轉了這種低效率。它不再依序預測詞彙,而是同時草擬出整段 256 token 的段落。透過一次餵給處理器更大塊的工作量,DiffusionGemma 讓你的硬體發揮出全部潛力。它把你的模型推論從一部單線作業的「序列打字機」升級成一台「大型印刷機」,能一次壓印出整段文字。
(Hugging Face 推出的 DiffusionGemma 文字轉 3D SVG 展示,逐步生成)
這代表 DiffusionGemma 的速度加成,是專為本地與低並行推論所設計。在高 QPS 的雲端服務場景中,自迴歸模型可以被部署到有效率地榨乾運算資源,因此 DiffusionGemma 的平行解碼反而報酬遞減,甚至可能導致更高的服務成本。其吞吐量優勢在單顆加速器、低至中等批次大小的情境下最為顯著。
文字擴散如何運作?
與 AI 影像生成器從視覺雜訊開始、反覆精煉成清晰圖片的過程類似,DiffusionGemma 把這套邏輯搬到了文字上:
畫布階段:模型從一片由隨機佔位 token 組成的「畫布」起步。
反覆精煉:模型進行多輪迭代,鎖定正確的 token,並以這些 token 作為線索,持續優化剩餘的內容。
最終定稿:文字收斂成高品質的輸出。
因為模型能在生成的同時處理整個段落,它解鎖了嶄新的模型行為模式——例如完美收束複雜的 Markdown 格式,或是近乎即時地生成並渲染程式碼。
下載模型權重:實驗性的模型權重(採用寬鬆的 Apache 2.0 授權)現已於 Hugging Face 開放下載。
整合與學習:歡迎參考我們的 DiffusionGemma 開發者指南進一步了解;或者深入研讀《A Visual Guide to DiffusionGemma》這份視覺化指南,從底層機制一路理解透徹。
用你熟悉的開發工具部署:可透過 MLX、vLLM(由 Red Hat 提供整合支援)以及 Hugging Face Transformers 高效部署此模型。為了方便快速實驗,我們也將釋出以 Hackable Diffusion(專為組合性設計的模組化 JAX 工具組)撰寫的微調教學。你還能用 Unsloth 與 NVIDIA NeMo 來探索微調。此外,llama.cpp 的官方支援也即將到來。
體驗最佳化後的效能表現:我們與 NVIDIA 合作,針對其硬體堆疊進行全面優化,確保模型能同時相容於消費級設備(已為 GeForce RTX 5090 與 4090 GPU 完成量化)以及高效能企業級系統(採用 NVFP4 核心的 Hopper 與 Blackwell),其中包含適用於桌面部署的 NVIDIA DGX Spark 與 DGX Station,以及為 AI 專業人士設計的 RTX PRO。NVFP4(4 位元浮點數)原生支援可加速運算吞吐量,讓模型能以逼近無損的精度跑得更快。
隨你喜歡的方式開跑:在你的桌機專用 GPU 上跑、或是透過 Gemini Enterprise Agent Platform Model Garden 與 NVIDIA NIM 部署到雲端都行。
網友熱門留言 (5)