← 返回 Siami 首頁

Google 推出 Gemma 4 QAT 模型:E2B 壓到 1GB,手機也能跑邊緣 AI

▲ 199 💬 59
Google 推出 Gemma 4 QAT 模型:E2B 壓到 1GB,手機也能跑邊緣 AI

自從兩個月前發布 Gemma 4 以來,我們持續努力擴展它的能力。最初,我們推出多 Token 預測(Multi-Token Prediction,MTP)來加速推論,幾天前則發布了 12B 模型,補強 E4B 與 26B MOE 模型之間的產品線。

今天,我們正式釋出以「量化感知訓練」(Quantization-Aware Training,QAT)最佳化的新版權重快照,讓 Gemma 4 變得更有效率,能在日常邊緣裝置與消費級 GPU 上本機執行。

QAT 在訓練過程中模擬量化情境,把壓縮造成的品質損失降到最低。本次釋出包含熱門 Q4_0 量化格式的 QAT 權重快照,以及一套專為行動裝置設計的新型量化格式。透過這個行動版格式,我們把 Gemma 4 E2B 的記憶體用量壓到 1GB。這些改進在保留 Gemma 4 既有能力的同時,大幅降低記憶體需求。

量化是讓模型跑在消費級硬體上的關鍵技術,能減少記憶體用量並加速解碼速度。然而,標準的「訓練後量化」(Post-Training Quantization,PTQ)常常導致效能下降。QAT 與 PTQ 的差別在於:QAT 把量化過程直接整合進訓練流程,而非訓練完才量化。PTQ 雖然已經能有效保留品質,我們的 QAT 結果相比 PTQ 基線仍繳出更高的整體品質。

我們把這套 QAT 配方套用到熱門的 Q4_0 格式上,讓所有模型效能最大化。至於邊緣版模型(E2B 與 E4B),我們則從頭重新設計量化策略,採用一套專為行動裝置特化的量化架構。

下方列出各模型載入所需的概略 VRAM 用量。

(編按:原文此處為 VRAM 比較表,依模型規模遞減。)

標準壓縮格式通常很難在行動處理器上流暢執行。為了確保 Gemma 4 在行動裝置上跑得順,我們為邊緣硬體量身打造一套自有的行動版量化架構。

因為音訊與視覺編碼器在許多場景下其實用不到,開發者可以只部署需要的模態,進一步壓低記憶體用量。以 Gemma 4 E2B 純文字版(不含逐層嵌入)為例,記憶體需求低於 1GB。

為了讓這些模型能在開發者熟悉的工具鏈裡無痛使用,我們已與生態系內多款主流開發者工具合作,從今天起全面支援 Gemma 4 QAT 權重快照。

我們迫不及待想看到你拿著本機跑的 Gemma 4 做出什麼作品!

網友熱門留言 (5)

#1 Hacker News 用戶 ▲ 142
把 E2B 壓到 1GB 真的很猛,這下連手機都能跑了。QAT 比 PTQ 在低位元下保留品質的效果明顯好很多。
#2 Hacker News 用戶 ▲ 87
從 26B MOE 換到 1GB edge 模型,這個 scaling 的跨度真的很大。終於可以在 Pixel 裝置上跑有意義的 assistant 了。
#3 Hacker News 用戶 ▲ 54
QAT 訓練成本比 PTQ 高很多,但對長期部署來說值得。希望 Apple Foundation Model 跟 Llama 團隊也跟進做 Q4_0 QAT checkpoint。
#4 Hacker News 用戶 ▲ 41
Mobile-quantization schema 這部分很有趣,Google 顯然知道 Q4_0 在 ARM CPU 上 decode 速度不夠快。期待看後續 benchmark。
#5 Hacker News 用戶 ▲ 38
1GB 文字模型 + 邊緣部署,這對隱私敏感的場景(醫療、法律)來說是遊戲規則改變者。雲端 API 之外的選項終於成熟了。