自從兩個月前發布 Gemma 4 以來,我們持續努力擴展它的能力。最初,我們推出多 Token 預測(Multi-Token Prediction,MTP)來加速推論,幾天前則發布了 12B 模型,補強 E4B 與 26B MOE 模型之間的產品線。
今天,我們正式釋出以「量化感知訓練」(Quantization-Aware Training,QAT)最佳化的新版權重快照,讓 Gemma 4 變得更有效率,能在日常邊緣裝置與消費級 GPU 上本機執行。
QAT 在訓練過程中模擬量化情境,把壓縮造成的品質損失降到最低。本次釋出包含熱門 Q4_0 量化格式的 QAT 權重快照,以及一套專為行動裝置設計的新型量化格式。透過這個行動版格式,我們把 Gemma 4 E2B 的記憶體用量壓到 1GB。這些改進在保留 Gemma 4 既有能力的同時,大幅降低記憶體需求。
量化是讓模型跑在消費級硬體上的關鍵技術,能減少記憶體用量並加速解碼速度。然而,標準的「訓練後量化」(Post-Training Quantization,PTQ)常常導致效能下降。QAT 與 PTQ 的差別在於:QAT 把量化過程直接整合進訓練流程,而非訓練完才量化。PTQ 雖然已經能有效保留品質,我們的 QAT 結果相比 PTQ 基線仍繳出更高的整體品質。
我們把這套 QAT 配方套用到熱門的 Q4_0 格式上,讓所有模型效能最大化。至於邊緣版模型(E2B 與 E4B),我們則從頭重新設計量化策略,採用一套專為行動裝置特化的量化架構。
下方列出各模型載入所需的概略 VRAM 用量。
(編按:原文此處為 VRAM 比較表,依模型規模遞減。)
標準壓縮格式通常很難在行動處理器上流暢執行。為了確保 Gemma 4 在行動裝置上跑得順,我們為邊緣硬體量身打造一套自有的行動版量化架構。
因為音訊與視覺編碼器在許多場景下其實用不到,開發者可以只部署需要的模態,進一步壓低記憶體用量。以 Gemma 4 E2B 純文字版(不含逐層嵌入)為例,記憶體需求低於 1GB。
為了讓這些模型能在開發者熟悉的工具鏈裡無痛使用,我們已與生態系內多款主流開發者工具合作,從今天起全面支援 Gemma 4 QAT 權重快照。
我們迫不及待想看到你拿著本機跑的 Gemma 4 做出什麼作品!
網友熱門留言 (5)