← 返回 Siami 首頁

Google EmbeddingGemma 2 登場:740M 參數的裝置端多模態嵌入模型

▲ 135 💬 17
Google EmbeddingGemma 2 登場:740M 參數的裝置端多模態嵌入模型

編按:本文綜合整理自 Google 官方部落格、The Decoder 報導、Hugging Face 模型頁 與 Hacker News 討論串,並加入 Siami 編輯部觀點與分析。

Google DeepMind 正式發表 EmbeddingGemma 2——一款 7.4 億參數的開源多模態嵌入模型,主打「裝置端推論」與「統一嵌入空間」。這是 EmbeddingGemma(去年 11 月推出、至今累積 2,000 萬下載)的後繼版本,技術底層直接沿用 Gemini Embedding,但把模型縮到可在手機、平板、筆電上離線運作。


核心能力:把文字、圖、音、影收進同一個向量空間

EmbeddingGemma 2 的最大賣點是「natively multimodal」——文字、圖片、音訊、影片不需各自獨立的編碼器,而是被映射到同一個統一嵌入空間。Google 給的具體應用情境如下:

  • 用一段語音備忘錄,從資料庫撈出對應的影片片段。
  • 用文字查詢搜尋好幾小時的錄音檔。
  • 圖文交叉檢索:丟一張圖,把媒體庫裡語意最相近的素材找出來。

實作上,模型採 Gemma 4 架構,授權採商業友善的 Apache 2.0。完整多模態版本約 567MB RAM,純文字版本最低可壓到 191MB。


為什麼這件事重要

過去一年,「裝置端 AI」從行銷話術慢慢變成可落地的事——但多模態一直是瓶頸。Apple Intelligence 與高通 Snapdragon X 系列雖然能在裝置上跑語言模型,但碰到「跨模態檢索」這種任務(用文字找圖、用聲音找影片),多半還是要回傳雲端。

EmbeddingGemma 2 的策略是:單一模型、單一空間。不論查詢是文字、圖、音還是影,最後都收斂成一組 768 維向量(必要時可截斷到 512、256、128 維,省 6 倍儲存)。這對想在裝置端做 RAG、媒體管理、影片剪輯輔助、智慧相簿的開發者來說,是相對乾淨的解方。

更關鍵的是授權。Simon Willison 在 Hacker News 上直言:「對嵌入模型來說,我認為閉源沒什麼道理。」——這呼應了 EmbeddingGemma 第一代累積 2,000 萬下載的事實:在 RAG、語意搜尋、推薦系統這個領域,開源權重幾乎已是開發者選用底層模型的必要條件。


數據解讀與質疑

Google 官方強調「在 MTEB Code 從 68.76 進步到 78.68、9.92 點的躍升」,以及「在 sub-1B 尺寸內樹立新的品質/參數比標竿」。值得注意的對比點:

  • MTEB Code 9.92 點進步:對本地 codebase 索引、語意程式碼搜尋、coding agent 檢索是實打實的能力提升。對「想用 AI 搜自己程式庫」的工程師,這是過去 12 個月最大幅度的單代進步。
  • 「擊敗兩倍大的專業模型」的說法:Google 自家 benchmark 通常選對自己有利的比較對象。the-decoder 報導引用了官方說法但未提供獨立第三方評測;建議讀者等 LMSys 或 Hugging Face OpenLLM Leaderboard 出現獨立的 embedding 榜單再下結論。
  • 「Pixel 11 Pro 191MB RAM」的硬綁定行銷:這數字只有在「量化 + 純文字 + Pixel 11 Pro」三重條件下才成立。多模態完整版要 567MB,要在 iPhone 15 上跑仍偏吃力;對中低階 Android 裝置實用性更有限。
  • 「8K context 是前代 4 倍」:8K token 在 LLM 圈已是基本盤(Llama 3 為 128K),對嵌入模型來說夠用,但對長影片、長對話、長文件檢索仍嫌不足。

對開發生態的衝擊

EmbeddingGemma 2 直接挑戰的對手,是 OpenAI text-embedding-3-small 與 Voyage AI 等閉源 embedding API。對成本敏感的中小型團隊,開源 + 裝置端 + 跨框架支援(transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio)的組合,已經構成「自建 embedding 管線」的完整替代方案。

對 Qdrant 等向量資料庫廠商,這是利多——更多裝置願意裝本地向量庫,就代表 Qdrant、Mellite、Chroma 的潛在客戶基數在擴大。

對 Apple Intelligence 與 Google Gemini Nano,這是 Google 在「自家模型 + 自家硬體」整合上的一次示範:Pixel 11 Pro 跑自家模型、不需雲端、且支援多模態。


現在能做什麼

  • 下載模型:Hugging Face、Kaggle
  • 官方部署指南:EmbeddingGemma 2: The Developer Guide
  • 現成應用:Google AI Edge Gallery(Instant Media Search、Video Moments Finder)、Google AI Edge Foresight
  • 微調指引:Unsloth 已發布 EmbeddingGemma 2 微調教學

對想在裝置端做離線 RAG、跨模態搜尋、媒體管理的開發者,這是目前最完整的開源起點。後續看實際部署後的延遲、耗電、與 Apple Intelligence 裝置端的對比,會是更值得追蹤的指標。

網友熱門留言 (3)

#1 Simon Willison ▲ 28
我相當讚賞 EmbeddingGemma 2 採用 Apache 2.0 授權。對嵌入模型來說,我認為閉源沒什麼道理。
#2 Hacker News 用戶 ▲ 15
在 Pixel 11 Pro 上跑量化版只要約 191MB RAM,這對裝置端 RAG 來說是 game changer。
#3 Hacker News 用戶 ▲ 12
MTEB Code 進步 9.92 點(68.76 → 78.68)相當驚人。對本地 codebase 索引很有吸引力。