編按：本文綜合整理自 PrismML 官方公告、The Information 報導、Developers Digest 技術解析、Hacker News 討論串，並加入 Siami 編輯部觀點與分析。
PrismML 在 7 月 14 日正式發表 Bonsai 27B——這是基於 Qwen3.6 27B 重新訓練的超低 bit 多模態旗艦模型，也是史上第一個能在手機上跑得動的 27B 等級語言模型。它在 Hacker News 衝上 491 分、183 則留言，是本週 AI 圈最熱門的開源事件之一。
兩個變體：1-bit 給手機、Ternary 給筆電
PrismML 把「能跑」和「好用」拆成兩個刻意設計的甜蜜點：
- 1-bit Bonsai 27B：權重用二進位 {−1, +1} + FP16 group-wise scaling，等效 1.125 bits/weight，總計 3.9 GB——剛好塞進 iPhone 17 Pro 的記憶體預算。
- Ternary Bonsai 27B：權重用三進位 {−1, 0, +1}，等效 1.71 bits/weight，總計 5.9 GB——一般筆電就能跑、保留完整推理與 agentic 能力。
兩個變體都是多模態，視覺塔以 4-bit 形式提供，支援截圖、文件、相機輸入；context 拉到 262K token，並支援 speculative decoding 做 lossless 加速。整個模型、訓練到權重全程以低 bit 端到端運行，沒有任何「高 bit 逃生通道」。
這等於在 27B 級能力與「手機能跑」之間硬生生開出一條路。在此之前，27B 模型光是 16-bit 就要 54GB，就算 4-bit 量化也要 18GB，連筆電都塞不下。
為什麼這件事重要
Siami 認為這次發表的關鍵不在「模型又多一個」，而是三件事同時發生：
- 從「雲端」轉回「裝置」的轉折點
The Information 的報導指出，Apple 正在評估 PrismML 的技術用於 iPhone。PrismML 的 CEO 公開表示雙方有對話，Techmeme 與 macdailynews 同步報導。如果 Apple Intelligence 從雲端 hybrid 架構，轉向「27B 級模型在裝置端直接跑」，對整個邊緣 AI 競賽的影響是結構性的。
- 代理（agent）工作流的可變成本歸零
PrismML 在公告中點出一個關鍵差異：雲端 API 的每一步都是遠端請求、每個 token 都要計費、每段計畫、工具呼叫、中繼結果都得過網路（含使用者的私人檔案、螢幕、資料）。當 27B 等級模型能放進裝置，百步 agent loop 的邊際成本歸零、使用者資料不離機——這對企業內部工具、隱私敏感場域、離線情境是革命性開放。
- intelligence density 變成 AI 競賽新軸
PrismML 自 1-bit Bonsai 8B 起提出「intelligence density」（每 GB 的能力）這個指標。1-bit Bonsai 27B 達到 0.53 / GB，是 full-precision baseline 的 10 倍以上，也是市面上最佳低 bit 替代方案的 2.7 倍。他們主張：模型不只要看「能做到什麼」，還要看「能在哪裡做到」。
數據解讀：95% / 90% 的真相
PrismML 公告的核心 benchmark 數字是：
- Ternary Bonsai 27B：保留 full-precision baseline 95% 能力
- 1-bit Bonsai 27B：保留 90% 能力
- 評估涵蓋 15 個 benchmark，橫跨 knowledge、reasoning、math、coding、instruction following、tool calling、vision（全在 thinking mode 下測）
但分能力看，故事比平均數更尖銳：
- 數學與程式：幾乎不損
- 工具呼叫：只差 full-precision 幾分
- 這兩項恰好是 agentic 工作流最依賴的能力
對照組：同一個 Qwen3.6 27B 基礎模型，最激進的傳統低 bit 量化版本，分數比 1-bit Bonsai 27B 低很多，但記憶體用量是 2.5 倍。
推論速度（tok/s）：
| 硬體 | 1-bit | Ternary |
|---|---|---|
| NVIDIA RTX 5090 | 最高 163 | 最高 134 |
| Apple M5 Max | 最高 87 | 最高 58 |
換言之：在旗艦桌機上，這是「可即時對話」的等級；在 M5 Max 筆電上，是「流暢但需要等等」的等級；在 iPhone 17 Pro 上——這是第一次 27B 等級模型跑得起來。
質疑與爭議：社群實測還沒跟上
雖然官方 benchmark 漂亮，Hacker News 與 r/LocalLLaMA 的開發者實測出現幾個保留態度：
「我在 LM Studio 試了 GGUF 和 MLX 兩個版本，但都跑不起來。」 — HN @simonw
「我不確定 llama.cpp 實作是不是有 bug（目前只支援 binary 版），但跟 35B-A3B @ Q4_KM + MTP 搭配 CPU offloading 相比，速度慢很多。」 — HN @syntaxing
「問題在於，如果你跑 Unsloth 的 UD_Q2 變體，數字其實跟 1-bit 模型很接近，但工具呼叫掉 5% 在實際場景比表面看起來更明顯。」 — HN @liuliu
這反映一個現實：低 bit 模型在「量化感知訓練」沒做完整時，特定能力（特別是 tool calling 與多步推理）的實際表現，常常和原廠公告有落差。社群要消化 Bonsai 27B 還需要幾週的時間。
另一個常被提到的對手是 Ornith 9B（已上架 Ollama），同樣主打 edge deployment、聲稱能 match Gemma 4-31B 和 Qwen 3.6 35B。27B vs 9B 的真實差距，仍待獨立 benchmark 驗證。
平台覆蓋與商業脈絡
Bonsai 27B 同時支援 Apple 裝置（Mac / iPhone / iPad）via MLX 與 NVIDIA GPU via CUDA，底層是為混合注意力架構特製的低 bit kernel。權重 Apache 2.0 開源，並提供限時免費開發者 API。
PrismML 出身 Caltech 研究團隊，創始資金來自 Khosla Ventures、Cerberus 與 Google，後續有 Samsung 持續支持。公司表示「下一階段更大規模的模型與新架構已在進行中」——這暗示 27B 可能只是中繼點。
Khosla Ventures 對「能在 iPhone 上跑的最大模型」押注，搭配 Apple 評估中的合作談判，這場仗的終局可能是 Apple Intelligence 採用 PrismML 技術。Siami 會持續追蹤。
Siami 觀點
Bonsai 27B 真正的訊號不是「又一個開源模型」，而是：
- intelligence density 開始取代純粹的參數競賽——未來一年的模型戰場會從「誰最大」轉向「誰能在最少的 GB 裡塞最多能力」。
- on-device agent 從理論變成可部署產品——過去 local LLM 只能跑 1B~8B、且難以撐起多步工作流；現在 27B 等級模型塞進 4GB，產品經理可以重新設計「不靠雲」的隱私工作流。
- Apple Intelligence 的下一步押注風險升高——若 Apple 公開採用 PrismML 技術，會直接衝擊既有的 OpenAI / Anthropic 雲端合作分工；若不採用，等於把 on-device LLM 的主動權讓給開源社群。
你怎麼看 27B 等級模型跑在手機上的可能性？留言讓 Siami 知道。
網友熱門留言 (5)