← 返回 Siami 首頁

Block 推出 Dessa:從零文字訓練的全雙工語音模型,一座 GB200 練成、MacBook Pro 就能跑

▲ 391 💬 141
Block 推出 Dessa:從零文字訓練的全雙工語音模型,一座 GB200 練成、MacBook Pro 就能跑

編按:本文綜合整理自 Block 官方 Dessa 研究頁、Jack Dorsey 的 X 貼文、Ragavan Thurairatnam 的 X 貼文、CellCog 技術分析、Unite.AI 報導、Economic Times AI Insights、Kyutai Moshi 開源模型說明、Block 收購 Dessa 的官方新聞稿 與 Hacker News 討論串(391 分、141 則回覆),並加入 Siami 編輯部觀點與分析。

10 月 23 日美西時間傍晚 6 點 23 分,Jack Dorsey 在 X 上貼出一段官方示範影片,開場一句話是:「Meet Dessa, our AI model trained from scratch on nothing but speech.」(認識一下 Dessa,我們從零訓練、只用聲音的 AI 模型。)截至隔天凌晨,這則貼文累積約 410 萬次瀏覽,成為 Block 這家支付公司近幾年聲量最大的技術發表之一。

發表這項成果的,是 Block 內部一個極小型 AI 研究實驗室。負責人 Ragavan Thurairatnam 直接向 Block 共同創辦人兼董事長 Dorsey 匯報。這個團隊本身就是 2020 年被 Block 收購的 Toronto 深度學習新創 Dessa 的原班人馬——當年 Block 對外的新聞稿寫得很直白:買的是「能解決真實世界重大挑戰的機器學習應用能力」。該團隊自 2012 年就在做深度學習模型,生成式語音模型這一條線做了超過八年。

這次發表最反常、也最關鍵的一句話,是 Block 寫在官方頁面上的:「We trained Dessa from scratch on nothing but human conversation. Sounds! No text, no pretrained models.」(我們只用人類對話、從零把 Dessa 訓練出來。聲音!沒有文字,沒有預訓練模型。)

換句話說,Dessa 這個模型所知道的一切,來源只有人類說話的聲音。它從未讀過任何一個字,也沒有任何預訓練模型可以繼承。對照 2026 年整個產業「所有模型都在文字語料上長大」的共識,這是一條完全不同的技術路線。


一座 GB200 機櫃練出來:這次的成本結構非常不正常

Block 官方頁面交代的訓練細節不多,但每一個數字都值得單獨拉出來看。

首先是硬體。官方原話是「we figured out how to train Dessa on only one NVIDIA GB200 NVL72」——只用一座 NVIDIA GB200 NVL72 機櫃,裡面是 72 顆 Blackwell GPU。對照前沿文字模型的訓練規模,一座機櫃等於「桌上型電腦等級」的算力投入,這是整份發表裡最反直覺的一句話。

其次是資料效率。官方稱 Dessa 學習語言所需的詞數,比大型語言模型要少「數百倍(hundreds of times fewer words)」。理由在物理上站得住腳:同一個詞用文字打出來,位元組數是固定的;但同一句話真人講兩次,音訊資料完全不同。官方用了一個例子說明——把「我沒說她偷了我的 CUDA 程式碼」這句話唸出來,每個字重音落點不同,語意就每次都不同。這種「語氣即語意」的資訊量,是純文字語料結構上無法提供的。

第三是推論端。官方稱推理速度「快於即時(faster than real time)」,而且可以在 MacBook Pro M4 Max 或更新的機型上完全本機執行。也就是說,沒有雲端推論費、沒有 API、沒有延遲到雲端的往返。一個能聽懂語氣的語音模型,直接跑在使用者自己的筆電上。

第四是互動模式。Dessa 是全雙工(full-duplex)——一邊聽一邊說,像真人對話一樣。它會自己判斷什麼時候該插話、什麼時候該發出「嗯哼」「懂啦」「喔~」這類附帶回應(backchannel),也能在被要求時提高音量、發出嘆氣、笑出聲,或讓聲音帶上一點哭腔。

Block 對這件事的動機寫得相當坦率,列出三個原因:純粹好奇(原文寫「aka fun」)、增進人與 AI 之間的理解,以及安全。而安全這一段是整份官方頁面裡語氣最重的部分:

Imagine being in serious pain while a voice AI has no idea and just keeps going. That’s the safety problem. Dessa is a step toward fixing it. (想像一下你正處於嚴重疼痛中,而語音 AI 完全察覺不到,只是繼續說下去。這就是安全問題所在。Dessa 是朝解決這個問題邁出的一步。)


它跟 GPT Live、Moshi 差在哪:關鍵不在模型,在「你能不能拿到它」

把 Dessa 放進目前的即時語音競賽裡比較,會發現一個尷尬的落差——Dessa 在技術宣稱上最激進,在可用性上最不實際。

模型開發方取得方式官方公布的延遲官方公布的價格
DessaBlock候補名單+安全研究者早期權限快於即時,未給數字無
MoshiKyutai開放權重(CC-BY 4.0),程式碼 MIT/Apache理論 160ms,L4 GPU 上約 200ms免費自架
GPT-Realtime-2OpenAI託管 API官方頁面未列每百萬音訊輸入 token 32 美元、輸出 64 美元
Gemini 3.8 LiveGoogle託管 API,支援 70 種語言,支援 barge-in總覽頁未列每分鐘音訊輸入 0.005 美元、輸出 0.018 美元(付費層)

最接近的研究型對照組是 Kyutai 的 Moshi——同樣是全雙工架構,但 Kyutai 直接開放權重、公開 7B 參數核心與延遲數據,OpenAI 與 Google 則走託管 API 並把價格寫在第一頁。相較之下,Dessa 的頁面上沒有權重、沒有 API、沒有定價、沒有任何基準測試分數,連支援哪些語言都沒有列出,「上線連結」標記為即將提供。官方頁面目前的全部內容,是一組由 Block 自己挑選的錄音、一張候補名單表單,以及一份給 AI 安全研究者的申請表(需要姓名、機構信箱、Google Scholar 或部落格連結)。

另一個關鍵細節也常被忽略:官方示範中有段落是 Dessa 與第三方模型 GPT-Live-1 對話。Block 在該示範下方特別註明,該模型的開發者與 Block 無關聯,也沒有審閱或背書 Dessa。


為什麼這件事重要

真正值得關注的不是「語音 AI 又變逼真了」這種每日新聞,而是 Block 這次押注的研究命題本身:一個完全沒有文字世界觀的模型,能不能只靠聲音學會語言、學會事實、學會在對話中判斷時機。

如果答案為真,它的意義會沿三條線擴散。第一是成本結構。目前的語音模型幾乎都是「語音轉文字 → 文字模型 → 文字轉語音」的中繼架構,中繼的代價不只是延遲,更是資訊損失——語氣、停頓、笑聲、嘆氣全部在轉寫那一步被抹平。官方那句「Run speech through text and all of that is gone」說的就是這件事。中繼架構之所以存在,是因為文字模型太好用、資料太多;一旦純音訊路線可行,中繼本身就是可以被拆掉的工程包袱。

第二是介面競爭。文字是二值的世界,語音是一維連續的世界。Block 把安全論點寫得極為具體:一個正在承受劇痛的人打給客服語音 AI,而那個 AI 聽不出來,只是照流程繼續講下去——這在今天是真的會發生的事。語音如果真的能承載情緒資訊,它就不再只是輸入裝置,而會變成某種情緒層的介面。

第三是安全面的雙面刃。Block 這次罕見地主動把模型交給外部安全研究者先看,這個動作本身值得肯定——模型能力越逼真,冒充真人進行社交工程攻擊的門檻就越低,HN 上多位網友在討論串中直接點出老人詐騙與企業冒充的風險。官方也把「邀請外部安全研究者在更廣泛發布前先找出我們沒預想到的風險」寫成主要行動訴求,並在頁面底部留下專門的聯絡入口。


數據解讀與質疑

把所有「Block 自己說的」與「目前可驗證的」分開來看,這份發表的可信度落差相當大,需要逐條標註。

「史上最逼真的全雙工語音模型」是行銷語言,不是測量結果。 官方頁面沒有提供任何基準測試分數、沒有模型大小、沒有推論延遲數字、沒有支援語言清單。所有證據都是 Block 自己挑選的錄音,而且挑選的標準從未公開。HN 上有網友直接指出,標題先衝上首頁、之後才由版主改成較樸實說法,這個模式本身就是行銷操作的一部分。

「用一座 GB200 訓練出來」與「數百倍更少的詞」這兩個數字缺少分母。 沒有說明對話音訊總時長、模型參數量、訓練時長,也沒有說明所謂「數百倍更少的詞」是跟哪一個對照模型比較。在這些數字補上之前,無法判斷這是效率突破,還是同一個模型架構在特定資料集上的表現。

智力水準的疑慮在討論串中反覆出現。 多位網友試聽後的反應相當一致:聲音聽起來極其自然,但「內容聽起來缺乏明顯的智力」,語氣像青少年自言自語;也有人直言語音真實度很好,但智慧明顯停在 2024 年水準。更實際的問題是,Block 自己的頁面完全沒有提到工具呼叫——一個能接電話的語音代理若不能查資料、不能執行操作、不能記住上下文,那它離可用還有相當距離。

擬真度本身就是風險。 討論串裡有網友描述了一條可行的攻擊鏈:用某人在社群媒體上的影片貼文訓練出近乎相同的聲音,再 SIM 劫持其號碼致電假裝求助。詐騙集團的傳統話術是可以直接遷移到這種模型上的。當前唯一有效的防禦,是要求對方回答一個只有雙方共同記憶才知道的問題——這顯然不是可規模化的方案。


接下來該盯什麼:Block 自己在等什麼

CellCog 整理了一份相當精準的觀察清單,適用於所有「先放示範、後開放」型態的模型發表。接下來這幾件事的出現順序,就是這項研究能否走完從 demo 到產品的距離:

  • 上線連結——官方頁面標示為即將提供的權重、API 或應用程式入口
  • 第一批外部報告——Block 放行的那些外部安全研究者的實測結果
  • 具體數字——推論延遲、模型大小、任何一項可比較的基準測試分數
  • 權重或 API 的釋出,以及其定價——這決定它會不會從研究玩具變成產業標準
  • 工具呼叫的實作方式——決定它能不能從「陪你說話」變成「替你做事」

在這些東西出現之前,最誠實的定位是:Block 公開了一個技術上非常有野心、但幾乎所有關鍵參數都還沒公開的研究預覽。它證明了「純音訊訓練出可對話模型」這件事可行,也把成本結構壓到了一個讓人重新思考訓練配額的程度。至於它是不是史上最好的語音模型,目前連一個數字都還沒有。


延伸閱讀

網友熱門留言 (9)

#1 Hacker News 網友 toddmorey 0
這些對話示範確實很驚人,但真正讓我忍不住出聲的是這句:「它可以在 MacBook Pro M4 Max 或更新的機型上本機執行。而且我們只用一座 NVIDIA GB200 NVL72 就把它訓練出來了。」如果它真的能在本機裝置上同時重現那種低延遲與那種表現力,那對「獨立 AI 開發者」來說是一項了不起的成就。
#2 Hacker News 網友 armcat 0
聲音聽起來沉浸感強到有點詭異。全雙工模型一直有的一個問題是工具呼叫(tool calling)。這正是 GPT-Live 的強項——你可以把它當成一個真正能派上用場的代理來用。很期待看到 Dessa 團隊會怎麼處理這塊。
#3 Hacker News 網友 m_fayer 0
近期大部分跟語音有關的技術,都只是把語音當成介面或互動模式。它是通往某個目的的手段,而真正的目的與價值,是由語音另一端那個推理系統提供的。這個模型明顯不夠聰明。所以語音本身就是重點,除了語音本身之外幾乎沒有多少額外價值。加總起來就是:模仿。這東西就是拿來模仿真人的。
#4 Hacker News 網友 mrinterweb 0
光看這些範例,我完全沒辦法判斷那是 AI 生成的。如果我接到一個惡意代理打來的電話,多半不會意識到那是 AI。我的做法是,針對我認識的人問一個只有共同記憶才答得出來的驗證問題,如果電話內容有任何可疑之處就這樣做。我不知道還有什麼別的防範方式。被迫保持這種懷疑真的很討厭,但我沒辦法不這樣想。潛在情境太多了:一個 AI 語音訓練者用某人在社群媒體上的影片貼文訓練出幾乎一模一樣的聲音,接著 SIM 劫持對方號碼,打電話假裝需要幫忙。AI 可以被用來模仿勒贖影片、要求保釋金、在正式伺服器上要求換零錢等等。有錢有勢、知名度高的人特別可能是目標,冒充他們對下屬說話,會是很容易的社交工程攻擊手段。
#5 Hacker News 網友 paxy 0
這些雙向/全雙工的示範對我來說總是顯得太人工。模型可以跟你同時講話而不是輪流說話,這當然很酷,但把它訓練成盡量頻繁地插嘴並不是正確做法。在第一個範例裡,有沒有人覺得那個在「冬天」回答之後的笑聲很說服力?為什麼需要那個笑聲?為什麼那位真人講者一句話都沒講完、想法都沒說完,模型就接著獨白了一整段?
#6 Hacker News 網友 IshKebab 0
我還以為這要等更久!下一步顯然是文字與音訊的聯合訓練。語音的真實度非常好,但它的智力水平顯然還停在 2024 年。
#7 Hacker News 網友 bushido 0
我原本預期會撞到恐怖谷,結果意外地好。但我們居然已經走到這一步,還挺可怕的——我看這對容易受騙的長輩或一般民眾來說會是相當嚴重的問題。
#8 Hacker News 網友 weego 0
抱歉,我搞不懂。官方首頁那個範例聽起來真的很糟。無論是單句的語調起伏、回答時的音域,還是整體的結構與聽感,都離「聽起來像真的」差得遠,我忍不住覺得自己一定是漏了什麼。
#9 Hacker News 網友 GodelNumbering 0
快速聽了幾秒官方示範音軌,聽起來像是用了很多 podcast 訓練的。另外,最近在 Hacker News 上先用誇張聳動標題衝上首頁、事後才由版主修改標題的作法,應該要被處理;「史上最逼真」怎麼會不算行銷用語?這不只是這一篇,最近有不少文章都是靠不合理的說法衝上首頁的。