從單機到 4 台 Mac Studio：Apple × Meta 把 816B 模型搬上桌面
Apple 機器學習研究團隊今日發表最新 MLX 框架更新，正式示範如何用兩到四台 M5 Ultra Mac Studio，在桌面上離線跑 Meta 甫於 10 月 15 日開源發布的 Muse Spark Open——一款擁有 8,160 億參數（MoE 架構下僅 420 億啟用）、百萬級 token 上下文、原生支援文字／圖片／音訊／影片的多模態旗艦模型。在四台 M5 Ultra Mac Studio 的叢集上，這個「接近一兆參數」的模型可達 每秒 36 個 token 以上的產出速度，已超越一般人類閱讀速度。
這次的關鍵：M5 Ultra 與 MLX 雙雙到位
要在桌面上跑 816B 模型，光靠一張顯卡是不可能的。這次 Apple 端同時迎來三項關鍵升級：
- M5 Ultra GPU Neural Accelerator：專為矩陣乘法設計的硬體加速單元，把「time to first token（TTFT）」推到比 M3 Ultra 最多 4.6 倍快。
- 1.2 TB/s 統一記憶體頻寬（M3 Ultra 為 819 GB/s），讓 token 產出速度（memory-bandwidth bound）提升 1.6 倍。
- macOS 26.2 全新 RDMA over Thunderbolt 5 驅動，搭配 MLX v0.30.1 的新通訊集合
jaccl（唸作「jackal」），讓多台 Mac 之間能以低延遲直接共享記憶體，無需走傳統網路。
在 512GB 統一記憶體的 M5 Ultra 單機上，Qwen 3.8（27B）只需 68GB、Mistral Medium 3.5（128B）約 158GB——65,536 token 上下文都能輕鬆跑。但 Muse Spark Open 816B 在原生 BF16 精度下光模型權重就要 1.6TB 以上，即便用 NVFP4 4-bit 量化壓到 493GB，仍必須拆到多台機器。
兩種分散式推論：Pipeline 與 Tensor Parallel
Apple 部落格詳細示範了兩套分散式策略：
Pipeline Parallel（管線式）
把模型「沿深度」切兩半：第一台 Mac 跑前半段 layers，輸出經 Thunderbolt 傳給第二台跑後半段。對 decode 而言速度近似單機；對極長上下文（65,536 tokens）的 prefill 階段則因 chunks 重疊運算，可達 單機 1.8 倍快。優點是程式改動極小。
Tensor Parallel（張量式）
把模型「沿寬度」切：每台 Mac 持有每個 layer 的一部分，layer 內部直接平行。實作較複雜、需要大量小通訊，因此對 RDMA 鏈路品質極為敏感。雙 Thunderbolt 5 線互連是關鍵——在 4 台 M5 Ultra 跑 Muse Spark Open、65,536 token 上下文時，TTFT 從單線 50.5 秒降到雙線 40.6 秒。
在兩台 M5 Ultra 的情境下，密集模型（Qwen、Mistral）擴展性更好；Muse Spark Open 雖屬 MoE，仍在 4 台配置下取得顯著 decode 加速。
電力帳單：比烤麵包機還省
最讓人吃驚的數字不是速度，而是功耗：
- M3 Ultra Mac Studio：峰值 200W
- M5 Ultra Mac Studio：峰值 300W
Apple 在原文直接寫道：「a fraction of the power used by a common toaster」（比一台普通烤麵包機還少）。換言之，要在自家客廳或小型辦公室部署本地 816B 模型，不再需要為了電力與散熱另外蓋機房。
怎麼自己跑？只要一行指令
MLX 提供的 mlx.launch helper 讓多機部署變得像單機一樣簡單。Apple 範例指令（Muse Spark Open 4 台分散式跑 benchmark）：
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 -p 8192 -g 128 -b 1想拿來跑 agentic coding？用 mlx_lm.server 起本地 server，再把 OpenCode 的 provider 改成 http://127.0.0.1:8080/v1 就接上。整個 stack 完全本地、零雲端依賴——這對資安敏感產業（金融、醫療、政府）意義重大。
想看 Apple 工程師親自講解 MLX 分散式推論，可以參考今年 WWDC26 的官方議程影片：
業界第一時間的迴響
- Meta 官方 X（@AIatMeta）：「Muse Spark Open 已開放下載，並針對最新 MLX 在 Apple M5 Ultra Mac Studio 上做最佳化」——這是 Meta 罕見與 Apple 同台聯手宣傳。
- Artificial Analysis（@ArtificialAnlys）：「Muse Spark Open 在 Intelligence Index 拿下 39 分，是目前最強的美國開源權重模型」——擊敗同期所有 US open-weight 競爭者。
- Hacker News 主流聲音：「160 則留言，然後大家會送 Apple 兩萬美元去跑這些模型。似乎是一筆划算的交易。」點出硬體門檻（兩台 512GB M5 Ultra Mac Studio 售價近 22,000 美元）對開發者的實際衝擊。
- r/LocalLLaMA：Muse Spark Open 發布貼文截至今早 1.3K upvote / 353 downvote，反映社群對「美製頂級開源模型 + 桌機可跑」的高度期待，同時也對 NVFP4 量化品質持保留態度。
- VentureBeat / MacRumors / Cult of Mac 同步報導，並強調這是 Apple 與 Meta 兩家「長期競爭對手」罕見的深度合作。
🚨 為什麼這件事重要
這不只是「Apple 發了一篇 benchmark 報告」這麼單純。三條結構性訊號值得拉出來：
第一，Meta 在開源策略上跟 DeepSeek、中國開源生態直接對打。 過去一年 DeepSeek V3/R1、Qwen 3、Kimi K2.5 一路把開源前沿往東拉。Muse Spark Open 選在此時用「最美國、最開源、最旗艦」的姿態登場，且把 Apple 桌機當一級支援平台——是 Meta 對「開源 AI 領導權」的主動表態。配合 Trump 政府 10 月公布的「美國 AI 開源戰略」，政治訊號明顯。
第二，Apple 從「AI 旁觀者」變成「本地 AI 基礎設施商」。 過去外界批評 Apple Intelligence 慢半拍、Apple Silicon 在 ML 框架上支援不完整。這次 MLX v0.30.1、jaccl、RDMA over TB5 整套到位，等於 Apple 把「Mac Studio = 本地 LLM 工作站」這條產品線一次鋪好。對企業 IT 而言，這是「不用買 NVIDIA H100、不用訂雲端 API」的全新選項——尤其在資料落地、隱私、延遲敏感場景。
第三，硬體定價決定了「桌面 816B」是開發者玩具、不是大眾產品。 兩台 512GB M5 Ultra Mac Studio 美國定價合計 約 22,000 美元（新台幣約 70 萬），加上 NVFP4 量化的精度折損與社群仍在觀察的基準落差，短期內這還是 Meta、Apple、合作開發者與少數研究機構的遊戲。對一般開發者，真正可負擔的入口仍是 Hugging Face 雲端 API、OpenRouter、Baseten、Groq 等託管服務。
🚨 數據解讀：值得追問的三個點
- NVFP4 量化的真實品質：Meta 強調 4-bit 量化「幾乎無損」，但社群與第三方評測尚未完整覆蓋長上下文、程式碼生成、多模態推理三項關鍵指標。Artificial Analysis 的 39 分是 BF16 還是 NVFP4？基準與硬體設定的透明度，是接下來一週最重要的事。
- 「1M token 上下文」≠ 1M token 有效記憶：MoE 模型的長上下文衰減比密集模型更明顯。Muse Spark Open 真正能穩定 recall 多少 token、agentic coding 在 50 萬 token 程式碼庫上的成功率，要等獨立 benchmark（如 LongCodeBench、RepoQA）驗證。
- macOS 26.2 RDMA 驅動的相容性：Apple 把 RDMA 寫進 OS 層是首次，但目前僅支援 Thunderbolt 5、不支援一般 10GbE／100GbE 網路。對已投資 InfiniBand 資料中心的企業，這是一條平行軌道而非取代。雙線互連的 80Gb/s 頻寬在「4 台 Mac Studio」以外還能延伸多遠，是 Apple 後續硬體路線圖的關鍵訊號。
一句話總結
Apple 與 Meta 聯手證明：「8,160 億參數的頂級開源模型 + 4 台 M5 Ultra Mac Studio + RDMA over Thunderbolt 5 = 任何人都能在自家書房跑出商用級 AI」，代價是 22,000 美元的硬體帳單與一年份的電費。
對想在本地跑頂級開源模型、又要兼顧資安與延遲的開發團隊與中小企業 IT，這是一份值得在 2027 採購週期前重新評估的硬體藍圖。
編按：本文綜合整理自 Apple 機器學習研究「Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio」、Meta AI 部落格「Introducing Muse Spark Open」、Hugging Face 部落格、vLLM Day 0 支援公告、MacRumors 報導、VentureBeat 報導、Artificial Analysis 評分頁，並加入 Siami 編輯部觀點與技術解讀。
網友熱門留言 (5)