← 返回 Siami 首頁

Mistral 推出 Voxtral 3 語音三件套:50+ 語言、WER 4.1% 碾過 Whisper,但這次不開源了

▲ 460 💬 127
Mistral 推出 Voxtral 3 語音三件套:50+ 語言、WER 4.1% 碾過 Whisper,但這次不開源了

編按:本文綜合整理自 Mistral 官方發布頁、Hacker News 討論串(460 分/127 則留言)、TechCrunch 2025 年 Voxtral 開源報導、SiliconANGLE 2026 年 3 月 Voxtral TTS 開放權重報導,並加入 Siami 編輯部觀點與分析。

語音 AI 這兩年最大的進步,不是「機器人開始會說話」,而是聽寫模型終於不再需要你為了說一句話先深呼吸、湊近麥克風、放慢語速。法國 AI 實驗室 Mistral 在 10 月 20 日發布的 Voxtral 3,把轉寫、語音合成、語音 Agent SDK 三件事包成一個家族,宣稱在 45 種語言的 FLEURS 基準上把平均字錯誤率壓到 4.1%,同時把「本地部署」這件事從官網敘述裡刪掉了。

一句話講清楚這次發布了什麼

這不是單一模型,而是一條完整管線上的四個型號:

  1. Voxtral Small Transcribe 3 — 最高精度轉寫,支援 50 種以上語言,含說話者分離與關鍵詞偏置
  2. Voxtral Mini Transcribe 3 — 4B 參數,40 億參數就能跑,售價每分鐘 0.0035 美元
  3. Voxtral Mini Transcribe Realtime 3 — 為語音 Agent 而生,延遲壓在 500 毫秒以下
  4. Voxtral Speech 3 — 語音合成,35 種以上語言、50 種以上方言,可用 30 分鐘音訊做聲音複製

外加一個語音 Agent SDK(建於 LiveKit 之上),把「聽進去 → 推理 → 呼叫工具 → 說出來」串成單一串流管線。官方說法是:每個環節各自等待的問題被拿掉了,每一輪對話低於 1 秒,而且當使用者插話時,Agent 會停下來讓話。

官方示範是法語醫療客服:病人拿著醫師轉介信打電話,Agent 聽出轉介碼 4420(而非 4402)、理解法語、確認隔週二 17:45 的空檔、直接訂位,並且把確認簡訊寄到使用者的手機。

數據解讀:官方表格裡真正值得注意的是什麼

Mistral 在發布頁貼了滿版 benchmark 圖表,這種行銷素材需要小心讀。以下是逐條核對後的結果:

  • 多語種轉寫 FLEURS 45:Voxtral Small Transcribe 3 的強制語言模式 WER 為 4.1%、自動判斷語言模式 4.0%;對照組為 Microsoft AI Transcribe 2(4.9%/4.9%)、Gemini 3.5 Transcribe(6.1%/5.6%)、Scribe v2(6.3%)、GPT Transcribe(4.9%)、Whisper large-v3(16.0%/14.9%)
  • 說話者分離 cpWER:Voxtral Small 3 拿下 18.4%,Voxtral Mini 3 是 19.0%,而 Pyannote Orchestrator(Precision 3)為 23.0%、Microsoft AI Transcribe 2 為 30.9%
  • 關鍵詞召回率:加入上下文偏置後從 81.4% 拉到 94.6%,提升幅度是三個對照模型中最大的
  • 即時轉寫延遲:Voxtral Mini Realtime 3 在 240 毫秒延遲下 WER 為 6.4%,與離線版差距僅 1.7 個百分點
  • 語音合成:每百萬字元 13 美元,官方稱低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 與 Gemini Flash

有兩個地方必須點名。第一,中文、日文、韓文、泰文用的是 CER 而非 WER——中文以字為單位,這些語言的數字不能跟英文直接橫向比較,看跨語言總平均時要留個心。第二,35 語言、即時 500 毫秒、240 毫秒那幾張圖裡,Voxtral Mini Transcribe 3 是「離線基準」而非即時模型,圖表下方小字有寫,但很容易被略過。


為什麼這件事重要:Mistral 正在從開源轉向閉源

這才是這則發布真正的新聞點。

Mistral 的語音產品線一路走來,開放程度是倒退的:

  • 2025 年 7 月,Voxtral Mini 3B 與 Small 24B 以開放權重發布,TechCrunch 的標題直接寫「first open source AI audio model」
  • 2026 年 3 月,Voxtral TTS 開放權重,VentureBeat 與 SiliconANGLE 都以「open-weights」為標題報導,強調它能在手機上跑
  • 2026 年 10 月 20 日,Voxtral 3 沒有任何權重釋出。官網寫「To run the full stack on-premises or in a private cloud, talk to our team」

實際查核 Hugging Face 上 Mistral 官方帳號的 Voxtral 模型後可以確認:最新的是 Voxtral-Mini-4B-Realtime-2602(2026 年 2 月)與 Voxtral-4B-TTS-2603(2026 年 3 月),下載量分別約 221 萬與 1,637 次。沒有任何一檔對應 Voxtral 3。社群的反應因此相當直接——HN 上最高票的留言開頭就是「Closed model means I’m immediately not interested」。

時間點也值得注意。Mistral 剛在 9 月完成 30 億歐元、估值 210 億歐元的 D 輪融資(Samsung、Scaleup Europe、PSG Equity 領投),10 月初才發布 Mistral Large 4。資金充裕之後從開源轉向閉源,在產業裡並不罕見,但對一個以歐洲主權 AI 為差異化賣點的公司來說,這個轉向的成本不只在技術面。

另一個被忽略的細節是隱私預設值。HN 有網友指出 Mistral 的資料保留政策一律 30 天,零資料保留(ZDR)必須另外提交申請、逐案審核。「你可以自架」聽起來很安心,但「自架要跟業務談」這兩件事加起來,意味著多數中小型團隊實際上只能用官方 API——也就是音訊會離開自己的環境。

質疑:官方數據與社群體感落差很大

發布頁上的 WER 表格很漂亮,但 Hacker News 的反應幾乎是兩極的,而且負面意見有具體技術理由:

  • 聲音品質有爭議:多名網友認為新版語音比舊版更「AI 味」、更機械,ComputerGuru 的說法是「我非常討厭聽新版那個」
  • Whisper 比較不公平:ComputerGuru 指出 Whisper 是轉寫模型而非聽寫模型,它能擷取背景音與環境音(監視攝影、背景錄音),WER 較高但「真的會去嘗試捕捉每一段聲音」,拿它跟刻意對著麥克風說話的模型比較並不同質
  • 35 語言示範有明顯錯誤:aand16 指出官方展示的多語言發音示範裡翻譯品質差、且德語的非標準音素提示範例方向標反了
  • 延遲被質疑:aliljet 直接問「官方示範看起來零延遲,這個對話到底有多即時?」
  • 隱私預設是 30 天保留(前述)
  • 命名混亂:mongrelion 吐槽版本號不一致——Voxtral Mini Transcribe 3、Voxtral Small Transcribe 3、Voxtral Speech 3,數字夾在中間與結尾不一致,層級讀不出來

社群給出的替代方案也值得記錄。在本地部署這條路上,HN 上被推薦最多的是 NVIDIA 的 Parakeet(多家網友說 WER 與 Whisper 相當但快 10 倍以上)以及 Futo 的 CPU 優化 ASR 系列;有開發者已經把它做成商用離線軟體,標榜 4GB 顯存、Ryzen 5 級內顯就能跑超過即時速率。


價格表與規格速查

項目規格價格
Voxtral Mini Transcribe 3(批次)4B 參數,50+ 語言每分鐘 0.0035 美元
Voxtral Small Transcribe 3最高精度,50+ 語言每分鐘 0.0040 美元
Voxtral Mini Transcribe Realtime 3延遲 < 500 毫秒,35+ 語言每分鐘 0.008 美元
Voxtral Speech 3(批次與即時同 API)35+ 語言、50+ 方言每百萬字元 13 美元
語音 Agent API(內建 Mistral Small 4 推理)含推理模型每分鐘 0.04 美元
語音 Agent API(自選推理模型)任一推理模型每分鐘 0.08 美元
完整技術栈自架/私有雲—需聯絡業務

語音預設(Voice Presets)目前開放 18 種語言,包含美式與英式英文、法國與美國口音、巴西葡語、普通話與北京/四川腔等。完整管線可透過 SIP 與既有的電話、IVR、聯絡中心系統連線,也支援 WebRTC 進瀏覽器與行動 App。


延伸閱讀

網友熱門留言 (5)

#1 Hacker News 網友 satvikpendem(news.ycombinator.com/item?id=50169118) 0
閉源模型代表我立刻失去興趣。市面上已經有很多表現非常出色、比任何開源模型都好的閉源 STT/TTS 模型,所以除非這個是開源的,否則我不確定自己會不會用到它。
#2 Hacker News 網友 ComputerGuru(news.ycombinator.com/item?id=50170325) 0
喔,Voxtral 3 聽起來比舊版 Voxtral 1 人工與「AI 味」重多了,我非常討厭聽新版那個。另外拿 Whisper 相比這件事總是讓我很不爽。Whisper 不太是聽寫模型,而是轉寫模型,它是唯一能用來擷取環境音的方案,例如轉錄監視攝影或背景錄音的音訊;它的 WER 比較高,但它真的會去嘗試捕捉每一段聲音。
#3 Hacker News 網友 Const-me(news.ycombinator.com/item?id=50170351) 0
他們上一代開放權重的 STT 模型還不錯。我最近剛推出一款商用 Windows 軟體,在一般硬體上執行 Voxtral Mini 4B Realtime 的離線推理:vrmac-softver.com/speech2text。它只需要 4GB 顯存,在我的中階筆電(Ryzen 5 5600U 內顯)上跑起來超過即時速率,目前正在開發 Linux 版。
#4 Hacker News 網友 mongrelion(news.ycombinator.com/item?id=50172293) 0
首先,這對主權 AI 來說很棒。遺憾的是模型並未開放。另外我對 Mistral 的模型命名方式有點微詞。這明明是 Voxtral 3,但他們不把版本一致地附加在後面,而是這樣寫:Voxtral Mini Transcribe 3、Voxtral Mini Transcribe Realtime 3、Voxtral Small Transcribe 3、Voxtral Speech 3。為什麼不叫 Voxtral 3 Transcribe Mini?這樣讀起來才像是分層的結構。
#5 Hacker News 網友 warmuk707(news.ycombinator.com/item?id=50173264) 0
預設沒有隱私。Mistral 本來就從來不強調隱私,資料一律保留 30 天。「請提供足夠細節說明你請求零資料保留(ZDR)的正當理由。我們會審查每項請求,並可能批准或拒絕。」