今天，Google 正式發表 Gemma 4 12B——這是該公司最新的開源模型，專為將代理式（agentic）多模態智慧直接帶進消費級筆電而設計。Gemma 4 12B 介於主打邊緣輕量的 E4B 與更進階的 26B 混合專家模型（MoE）之間，把強大能力封裝在更小的記憶體佔用中；它也是 Gemma 系列首款支援原生音訊輸入的中型模型。
Gemma 系列自推出以來累計下載次數已突破 1.5 億次。從穿戴式機械手臂到企業級 AI 資安防護，開發者社群已用這個模型家族打造出各種應用。這次新版本則把觸角進一步延伸到「筆電本地多模態代理」這個戰場。
Gemma 4 12B 的五大特色
- 全新統一架構：無需多模態編碼器，視覺與音訊輸入直接流入 LLM 主幹
- 進階推理能力：基準測試表現逼近 26B 模型，可解鎖多步推理與代理式工作流
- 筆電即可運行：只需 16GB VRAM 或統一記憶體就能在本地跑
- 開放且易取得：採用 Apache 2.0 授權，支援完整開發者生態系
- 支援草稿解碼：內建多令牌預測（Multi-Token Prediction, MTP）草稿器降低延遲
在本地運行最先進的代理
Gemma 4 12B 在標準基準測試上的表現逼近體型更大的 26B MoE 模型，但總記憶體佔用不到後者的一半。它小到可以在配備 16GB RAM 的消費級筆電上本地運行，直接在你的機器上解鎖強大的多模態與代理式體驗。對開發者而言，這意味著過去必須依賴雲端 API 的工作流，現在有了一個可在本地完成的開源選項。
體驗高效率的統一架構
Gemma 4 12B 最特別的地方在於它處理視覺與音訊輸入的精簡方式。傳統多模態模型通常依賴獨立的編碼器（如 CLIP、SigLIP）先把圖像與音訊轉換成表徵，再傳給語言模型——但這種分離式設計會增加延遲並提高記憶體用量。
Gemma 4 12B 採用無編碼器架構來解決這個問題：
- 視覺：原本的視覺編碼器被替換成一個輕量級的嵌入模組，只包含一次矩陣乘法、位置嵌入與層標準化。LLM 主幹可直接接手視覺處理。
- 音訊：更進一步，音訊編碼器被完全移除，把原始音訊訊號直接投影到與文字令牌相同的維度空間。
換句話說，視覺與音訊不再「翻譯」成另一種表徵再餵給語言模型，而是直接以統一的方式進入 LLM 主幹。這也讓 Gemma 4 12B 成為 Google 首款整合三種輸入（視覺、音訊、文字）的中型模型。
立即上手
Google 同步釋出完整的部署工具鏈，開發者可透過以下方式開始使用：
- 親自試用：在 LM Studio、Ollama、Google AI Edge Gallery App、Google AI Edge Eloquent app 與 LiteRT-LM CLI 中點幾下就能開始實驗
- 下載模型權重：直接從 Hugging Face 與 Kaggle 取得預訓練與指令微調過的檢查點
- 整合與學習：參考開發者文件與快速入門筆記本
- 用熟悉的工具實作推理：Hugging Face Transformers、llama.cpp、MLX、SGLang、vLLM 都支援，也能用 Unsloth 進行高效率微調
- 解鎖代理開發：Google 同步釋出官方 Skills 儲存庫，提供專為代理基於 Gemma 模型建構應用而設計的技能函式庫
- 自由部署：可透過 Google Cloud 的 Gemini Enterprise Agent Platform Model Garden、Cloud Run 與 GKE 在生產環境中啟動端點
為什麼這很重要
過去要在本地筆電上跑出像樣的多模態體驗，通常得在 Llama、Qwen、Mistral 之間反覆測試，而且要嘛犧牲視覺功能，要嘛得依賴獨立的編碼器 pipeline。Gemma 4 12B 的出現，意味著一個模型就能同時處理文字、視覺與音訊，且記憶體門檻低到大多數現代筆電都達得到。
加上 150M 次下載的開發者社群基礎，以及 LM Studio、Ollama、llama.cpp 等主流本地工具的第一天支援，這個版本很可能會成為 2026 下半年「本地 AI 代理」風潮的基準線。
網友熱門留言 (4)