編按：本文綜合整理自 Google Blog 官方公告 與 Hacker News 討論串，並加入 Siami 編輯部觀點與分析。
Google 8 月 26 日正式推出 Gemini 3.5 Transcribe，主打即時、智慧、可直接餵給 AI Agent 的語音轉文字模型。官方資料顯示，串流模式平均字錯誤率（WER）僅 4.0%，批次模式更低到 2.6%，比起前代 Chirp 3，端到端延遲縮短了 70%。模型支援 超過 85 種語言，能在同一段音檔中無縫切換，並提供多達 3 位講者的身份標註與逐字時間戳。
模型定位與 API 入口
Gemini 3.5 Transcribe 並非只給終端使用者用，它設計給兩種工作流：
- 即時串流（gemini-3.5-transcribe-live）：透過 Gemini Live API 提供雙向串流，延遲壓到 1 秒以內，適合對話式語音代理人、即時字幕。
- 預錄音檔（gemini-3.5-transcribe）：走 Interactions API，附加講者歸屬、逐字時間戳，適合會議記錄、通話後分析、客服批次建檔。
兩條 API 已在 Google AI Studio 與 Gemini Enterprise Agent Platform 進入公開預覽；企業端的客服場景（Customer Experience）會在下一波上線。
比起一般 STT 把語音「翻成文字」就交差，Gemini 3.5 Transcribe 的重點是「翻成可直接餵給 Agent 的結構化內容」。
為什麼這件事重要
語音輸入一直被視為「比鍵盤慢」的代表，但過去兩年 STT 模型的瓶頸不是準確率，而是口語清理與結構化。傳統 Whisper 類模型會把「嗯」「啊」「那個」「我剛剛說…算了改成」全部照唸，造成下游 Agent 解析困難。
Gemini 3.5 Transcribe 走的是一條不同路線：
- 智慧清理：自動刪除 filler word、自動修正自我更正（例如「我們星期二…不對星期三見」會直接輸出正確版本）。
- Function Calling：模型本身能在轉寫過程中呼叫其他 Gemini 模型去執行任務，例如 macOS 上的 Gemini App 已能用聲音說「把這段摘要存到桌面」，模型會在背景調用檔案分析 + 文字生成模型。
- 自訂詞彙：讓企業上傳品牌名、術語、產品編號，降低專有名詞的 WER。
- 情境感知：在 Google Antigravity 上，模型會主動讀螢幕上下文（檔名、當前文件、Agent 思緒），讓轉寫正確率提升。
對開發者來說，這代表 語音不再只是一個「輸入框」，而是「可直接編輯應用程式的控制介面」。
Benchmark 與實測表現
官方引用 Artificial Analysis 的資料：
| 場景 | WER | 對照組 |
|---|---|---|
| 串流（一般場景） | 4.0% | Chirp 3 約 7% |
| 預錄音檔 | 2.6% | Whisper Large v3 約 3-4% |
| FLEURS 串流（多語平均） | 5.50% | — |
| FLEURS 預錄（多語平均） | 5.04% | — |
| 端到端延遲改善 | 70% | vs Chirp 3 |
85+ 語言 自動偵測 + 雙向切換（一句話中英夾雜也行），多講者場景實驗性支援 3 人以上歸屬。
業界實測方面，HN 上 STT 重度使用者 @Lucasoato 跑了 20 款模型、多語場景，最終結論是「付費 API 唯一贏過 Whisper Large v3 的是 Gemini 3.5 Transcribe」；但他也提醒 Voxtral Mini 3b 在開源端仍是強敵。
整合生態：10 家合作廠商同步上線
Google 把 Gemini Live API 開放給多家即時通訊基建廠商，確保開發者能直接接入：
- Agora
- Fishjam
- LangChain
- LiveKit
- Pipecat
- Vercel
- Vision Agents
- vivo（手機廠）
- Intellitek Health（醫療）
- Lingopal（多語翻譯）
企業客戶端則有 vivo、Intellitek Health、Lingopal 三家具名推薦，主打低延遲、準確率、廣語系覆蓋。
終端使用者體驗
模型不只在 API 裡，也走進 Google 自家介面：
- Gboard（Android） 的新功能「Rambler」：邊走路邊說，自動濾掉 filler word、轉成乾淨段落。支援語音編輯（修改錯字、改語氣）。
- Google Antigravity：結合螢幕上下文與對話歷史，正確轉寫檔名、Agent 思緒。
- Gemini App（macOS）：能用聲音下複雜指令，例如「摘要這份 PDF」、「把這段改寫給 IG 貼文」、「在游標處生一張示意圖」。
- Chrome（coming soon）：所有輸入框都能用語音打字。
數據解讀與質疑
正面看：4.0% WER + 70% 延遲改善 + Function Calling + 85 種語言，是目前雲端 STT 的綜合最強組合，特別是「智慧清理」這塊，Whisper 與 Parakeet 還追不上。
質疑點：
- 「平均 WER 4.0%」的掩蓋：Artificial Analysis 是英文環境平均值，中文、台語、東南亞語言的 WER 沒公布。HN 實測者指出「結果依麥克風、場景、個人聲音差異極大」。
- 多講者歸屬仍是 3 人實驗版：會議記錄場景常見 5-10 人，現階段支援度不足。
- Function Calling 僅限 macOS App：API 端還沒開放給開發者，這代表目前的「語音控制 App」只能在蘋果生態玩。
- 價格未公布：相較 OpenAI Whisper API $0.006/min 的超低價，Google 沒揭露定價，企業導入前要小心試算。
開發者怎麼開始
- 個人開發者：到 Google AI Studio 的 Build mode 直接試用，或接 Gemini API。
- 企業：走 Gemini Enterprise Agent Platform（公開預覽中）。
- 終端使用者：macOS Gemini App（英文）已上線；Android Rambler 在部分國家/語言開放；Chrome 語音輸入即將推出。
如果你想打造中文／台語／粵語場景的 voice agent，建議先在 AI Studio 跑幾輪實測，特別是 filler word 清理與多講者歸屬，這兩塊在亞洲語言的真實表現，官方資料還不夠透明。
參考資料
網友熱門留言 (5)