今年四月，Google 發表了 Gemma 4 家族的四款模型，同時也將授權轉向更為開放的 Apache 2.0。當時的首發陣容包括兩款針對行動裝置最佳化的版本（E2B 和 E4B），以及兩款用於更重型任務的模型（26B 混合專家 MoE 與 31B Dense）。然而在中間那塊不小的空缺，卻一直沒有對應的產品——而這正是新模型要填補的位置。
Gemma 4 12B 的能力明顯比行動版本更強，但使用者並不需要花兩萬美元買一張 AI 加速卡才能在本地端執行。Google 強調 Gemma 4 12B 的獨特之處在於，它能在多數消費級筆電上流暢運行，卻不必犧牲品質。只要你的筆電配備 16GB 系統記憶體或 VRAM，這個擁有 120 億參數的模型就能順利運作。這個記憶體需求大約只有 Gemma 4 26B MoE 的一半。
Google 表示，新模型能處理過去需要更大 Gemma 變體才能勝任的複雜多步推理與代理工作流。雖然參數量較小，Gemma 4 12B 採用了全新設計的「多 token 預測」（Multi-Token Prediction, MTP）草稿器，能善用閒置的運算週期來預測後續可能的 token，進而提升速度與效率。此外，Google 也為模型的 tokenizer 設計了新做法，進一步降低資源需求。
Gemma 4 12B 的效率提升也歸功於多模態處理方式的新設計。Gemma 4 系列天生就是多模態的，可接受文字、音訊或圖片作為輸入。絕大多數生成式 AI 模型——包括 Gemma 4 其他變體——都會使用專屬的編碼器來處理非文字輸入，再把資料傳給 LLM。這種方式雖然堪用，卻會增加延遲並佔用更多記憶體。
在這款中階模型上，Google 改用了一套精簡的視覺嵌入模組，採用單一矩陣乘法加上位置編碼，讓資料在帶有正確空間資訊的情況下直接送進 LLM，省去了過去那個龐大的中介編碼器。音訊部分則完全沒有編碼過程——開發團隊找到了一種方法，把原始音訊訊號直接投射到語言模型中。
想親自試試新的 Gemma 4 模型嗎？透過 LM Studio、Google AI Edge Gallery 等工具，不下載就能直接體驗。但 Gemma 4 12B 的真正意義在於——它能在本地端、由你自主地運行。只要你的記憶體夠，模型權重現在已經可以在 Kaggle 和 Hugging Face 立即下載，檔案大小略低於 18GB。
網友熱門留言 (5)