編按:本文綜合整理自 Block 官方 Dessa 研究頁、Jack Dorsey 的 X 貼文、Ragavan Thurairatnam 的 X 貼文、CellCog 技術分析、Unite.AI 報導、Economic Times AI Insights、Kyutai Moshi 開源模型說明、Block 收購 Dessa 的官方新聞稿 與 Hacker News 討論串(391 分、141 則回覆),並加入 Siami 編輯部觀點與分析。
10 月 23 日美西時間傍晚 6 點 23 分,Jack Dorsey 在 X 上貼出一段官方示範影片,開場一句話是:「Meet Dessa, our AI model trained from scratch on nothing but speech.」(認識一下 Dessa,我們從零訓練、只用聲音的 AI 模型。)截至隔天凌晨,這則貼文累積約 410 萬次瀏覽,成為 Block 這家支付公司近幾年聲量最大的技術發表之一。
發表這項成果的,是 Block 內部一個極小型 AI 研究實驗室。負責人 Ragavan Thurairatnam 直接向 Block 共同創辦人兼董事長 Dorsey 匯報。這個團隊本身就是 2020 年被 Block 收購的 Toronto 深度學習新創 Dessa 的原班人馬——當年 Block 對外的新聞稿寫得很直白:買的是「能解決真實世界重大挑戰的機器學習應用能力」。該團隊自 2012 年就在做深度學習模型,生成式語音模型這一條線做了超過八年。
這次發表最反常、也最關鍵的一句話,是 Block 寫在官方頁面上的:「We trained Dessa from scratch on nothing but human conversation. Sounds! No text, no pretrained models.」(我們只用人類對話、從零把 Dessa 訓練出來。聲音!沒有文字,沒有預訓練模型。)
換句話說,Dessa 這個模型所知道的一切,來源只有人類說話的聲音。它從未讀過任何一個字,也沒有任何預訓練模型可以繼承。對照 2026 年整個產業「所有模型都在文字語料上長大」的共識,這是一條完全不同的技術路線。
一座 GB200 機櫃練出來:這次的成本結構非常不正常
Block 官方頁面交代的訓練細節不多,但每一個數字都值得單獨拉出來看。
首先是硬體。官方原話是「we figured out how to train Dessa on only one NVIDIA GB200 NVL72」——只用一座 NVIDIA GB200 NVL72 機櫃,裡面是 72 顆 Blackwell GPU。對照前沿文字模型的訓練規模,一座機櫃等於「桌上型電腦等級」的算力投入,這是整份發表裡最反直覺的一句話。
其次是資料效率。官方稱 Dessa 學習語言所需的詞數,比大型語言模型要少「數百倍(hundreds of times fewer words)」。理由在物理上站得住腳:同一個詞用文字打出來,位元組數是固定的;但同一句話真人講兩次,音訊資料完全不同。官方用了一個例子說明——把「我沒說她偷了我的 CUDA 程式碼」這句話唸出來,每個字重音落點不同,語意就每次都不同。這種「語氣即語意」的資訊量,是純文字語料結構上無法提供的。
第三是推論端。官方稱推理速度「快於即時(faster than real time)」,而且可以在 MacBook Pro M4 Max 或更新的機型上完全本機執行。也就是說,沒有雲端推論費、沒有 API、沒有延遲到雲端的往返。一個能聽懂語氣的語音模型,直接跑在使用者自己的筆電上。
第四是互動模式。Dessa 是全雙工(full-duplex)——一邊聽一邊說,像真人對話一樣。它會自己判斷什麼時候該插話、什麼時候該發出「嗯哼」「懂啦」「喔~」這類附帶回應(backchannel),也能在被要求時提高音量、發出嘆氣、笑出聲,或讓聲音帶上一點哭腔。
Block 對這件事的動機寫得相當坦率,列出三個原因:純粹好奇(原文寫「aka fun」)、增進人與 AI 之間的理解,以及安全。而安全這一段是整份官方頁面裡語氣最重的部分:
Imagine being in serious pain while a voice AI has no idea and just keeps going. That’s the safety problem. Dessa is a step toward fixing it. (想像一下你正處於嚴重疼痛中,而語音 AI 完全察覺不到,只是繼續說下去。這就是安全問題所在。Dessa 是朝解決這個問題邁出的一步。)
它跟 GPT Live、Moshi 差在哪:關鍵不在模型,在「你能不能拿到它」
把 Dessa 放進目前的即時語音競賽裡比較,會發現一個尷尬的落差——Dessa 在技術宣稱上最激進,在可用性上最不實際。
| 模型 | 開發方 | 取得方式 | 官方公布的延遲 | 官方公布的價格 |
|---|---|---|---|---|
| Dessa | Block | 候補名單+安全研究者早期權限 | 快於即時,未給數字 | 無 |
| Moshi | Kyutai | 開放權重(CC-BY 4.0),程式碼 MIT/Apache | 理論 160ms,L4 GPU 上約 200ms | 免費自架 |
| GPT-Realtime-2 | OpenAI | 託管 API | 官方頁面未列 | 每百萬音訊輸入 token 32 美元、輸出 64 美元 |
| Gemini 3.8 Live | 託管 API,支援 70 種語言,支援 barge-in | 總覽頁未列 | 每分鐘音訊輸入 0.005 美元、輸出 0.018 美元(付費層) |
最接近的研究型對照組是 Kyutai 的 Moshi——同樣是全雙工架構,但 Kyutai 直接開放權重、公開 7B 參數核心與延遲數據,OpenAI 與 Google 則走託管 API 並把價格寫在第一頁。相較之下,Dessa 的頁面上沒有權重、沒有 API、沒有定價、沒有任何基準測試分數,連支援哪些語言都沒有列出,「上線連結」標記為即將提供。官方頁面目前的全部內容,是一組由 Block 自己挑選的錄音、一張候補名單表單,以及一份給 AI 安全研究者的申請表(需要姓名、機構信箱、Google Scholar 或部落格連結)。
另一個關鍵細節也常被忽略:官方示範中有段落是 Dessa 與第三方模型 GPT-Live-1 對話。Block 在該示範下方特別註明,該模型的開發者與 Block 無關聯,也沒有審閱或背書 Dessa。
為什麼這件事重要
真正值得關注的不是「語音 AI 又變逼真了」這種每日新聞,而是 Block 這次押注的研究命題本身:一個完全沒有文字世界觀的模型,能不能只靠聲音學會語言、學會事實、學會在對話中判斷時機。
如果答案為真,它的意義會沿三條線擴散。第一是成本結構。目前的語音模型幾乎都是「語音轉文字 → 文字模型 → 文字轉語音」的中繼架構,中繼的代價不只是延遲,更是資訊損失——語氣、停頓、笑聲、嘆氣全部在轉寫那一步被抹平。官方那句「Run speech through text and all of that is gone」說的就是這件事。中繼架構之所以存在,是因為文字模型太好用、資料太多;一旦純音訊路線可行,中繼本身就是可以被拆掉的工程包袱。
第二是介面競爭。文字是二值的世界,語音是一維連續的世界。Block 把安全論點寫得極為具體:一個正在承受劇痛的人打給客服語音 AI,而那個 AI 聽不出來,只是照流程繼續講下去——這在今天是真的會發生的事。語音如果真的能承載情緒資訊,它就不再只是輸入裝置,而會變成某種情緒層的介面。
第三是安全面的雙面刃。Block 這次罕見地主動把模型交給外部安全研究者先看,這個動作本身值得肯定——模型能力越逼真,冒充真人進行社交工程攻擊的門檻就越低,HN 上多位網友在討論串中直接點出老人詐騙與企業冒充的風險。官方也把「邀請外部安全研究者在更廣泛發布前先找出我們沒預想到的風險」寫成主要行動訴求,並在頁面底部留下專門的聯絡入口。
數據解讀與質疑
把所有「Block 自己說的」與「目前可驗證的」分開來看,這份發表的可信度落差相當大,需要逐條標註。
「史上最逼真的全雙工語音模型」是行銷語言,不是測量結果。 官方頁面沒有提供任何基準測試分數、沒有模型大小、沒有推論延遲數字、沒有支援語言清單。所有證據都是 Block 自己挑選的錄音,而且挑選的標準從未公開。HN 上有網友直接指出,標題先衝上首頁、之後才由版主改成較樸實說法,這個模式本身就是行銷操作的一部分。
「用一座 GB200 訓練出來」與「數百倍更少的詞」這兩個數字缺少分母。 沒有說明對話音訊總時長、模型參數量、訓練時長,也沒有說明所謂「數百倍更少的詞」是跟哪一個對照模型比較。在這些數字補上之前,無法判斷這是效率突破,還是同一個模型架構在特定資料集上的表現。
智力水準的疑慮在討論串中反覆出現。 多位網友試聽後的反應相當一致:聲音聽起來極其自然,但「內容聽起來缺乏明顯的智力」,語氣像青少年自言自語;也有人直言語音真實度很好,但智慧明顯停在 2024 年水準。更實際的問題是,Block 自己的頁面完全沒有提到工具呼叫——一個能接電話的語音代理若不能查資料、不能執行操作、不能記住上下文,那它離可用還有相當距離。
擬真度本身就是風險。 討論串裡有網友描述了一條可行的攻擊鏈:用某人在社群媒體上的影片貼文訓練出近乎相同的聲音,再 SIM 劫持其號碼致電假裝求助。詐騙集團的傳統話術是可以直接遷移到這種模型上的。當前唯一有效的防禦,是要求對方回答一個只有雙方共同記憶才知道的問題——這顯然不是可規模化的方案。
接下來該盯什麼:Block 自己在等什麼
CellCog 整理了一份相當精準的觀察清單,適用於所有「先放示範、後開放」型態的模型發表。接下來這幾件事的出現順序,就是這項研究能否走完從 demo 到產品的距離:
- 上線連結——官方頁面標示為即將提供的權重、API 或應用程式入口
- 第一批外部報告——Block 放行的那些外部安全研究者的實測結果
- 具體數字——推論延遲、模型大小、任何一項可比較的基準測試分數
- 權重或 API 的釋出,以及其定價——這決定它會不會從研究玩具變成產業標準
- 工具呼叫的實作方式——決定它能不能從「陪你說話」變成「替你做事」
在這些東西出現之前,最誠實的定位是:Block 公開了一個技術上非常有野心、但幾乎所有關鍵參數都還沒公開的研究預覽。它證明了「純音訊訓練出可對話模型」這件事可行,也把成本結構壓到了一個讓人重新思考訓練配額的程度。至於它是不是史上最好的語音模型,目前連一個數字都還沒有。
延伸閱讀
- Block 官方 Dessa 研究頁(含示範錄音與安全研究者申請表)
- Jack Dorsey 的 X 貼文(官方發表影片,10 月 23 日)
- Ragavan Thurairatnam 的 X 貼文(研究負責人)
- Hacker News 討論串(391 分、141 則回覆)
- CellCog:Block Dessa — The Speech Model Trained Without Text(逐項查證)
- Unite.AI:Block Unveils Dessa, a Full-Duplex Speech Model Trained on Conversation
- Economic Times AI Insights:Jack Dorsey’s Block launches Dessa
- Kyutai Moshi:目前最接近的全雙工研究型對照組(開放權重)
- OpenAI GPT-Live 官方頁(工具呼叫能力的對照)
- Block 2020 年收購 Dessa 的官方新聞稿(團隊背景)
網友熱門留言 (9)