編按：本文綜合整理自 Cerebras 官方 Model Catalog、Qwen 官方部落格、Simon Willison 評論、Hacker News 討論串 與 Quesma 量化評測，並加入 Siami 編輯部觀點與分析。
Cerebras 把阿里巴巴開源模型 Qwen 3.8 27B 放上自家 Inference 公開端點，官方標示推理速度可達 每秒 1500 tokens。同一張官方目錄裡，OpenAI GPT-OSS 120B 跑出約 3000 tokens/s，Qwen 3.8 27B 雖然速度只有前者一半，卻是當前 27B 等級開源模型在雲端跑出來最快的實測數字。
這次上線的 Qwen 3.8 27B 是什麼？
Qwen 3.8 27B 是阿里巴巴 Qwen 團隊 8 月發表的開源模型，採用 Apache 2.0 授權釋出權重，定位是「能在中高階筆電跑的視覺語言模型」：
- 參數規模：270 億（dense，全參數啟用）
- 原生 context：262,144 tokens，可延伸到 100 萬 tokens（透過 YaRN）
- 視覺編碼器：原生支援圖片輸入（這是 27B 等級少見的規格）
- 授權：Apache 2.0，可商用、可微調
- 官方建議 reasoning_effort：xhigh（會傾向過度思考）
Simon Willison 8 月實測時就注意到，這個尺寸是「在家用筆電跑得動、又比前一代 Qwen 3.6 27B 強一截」的甜蜜點，加上原生 vision encoder，是目前 27B 等級少見的全功能組合。
為什麼 Cerebras 跑 27B 特別有意義？
Cerebras 的硬體賣點是單晶片 SRAM 容量極大，可以整個 27B 模型放進晶片而不必切到 HBM，因此 token 生成延遲可以壓到極低。官方 Model Catalog 公開端點列出的速度：
| 模型 | 參數 | Context (free / paid) | Speed (tokens/s) |
|---|---|---|---|
| OpenAI GPT OSS | 120B | 65k / 131k | ~3000 |
| Qwen 3.8 27B | 27B | 64k / 128k | ~1500 |
對比 NVIDIA H100 或 B200 在 vLLM / SGLang 上跑同樣 27B 模型，公開測試數字通常落在每秒 80–200 tokens，Cerebras 的 1500 tokens/s 大約是傳統 GPU 雲的 8–18 倍。對延遲敏感的應用（互動式程式助理、即時翻譯、長 context 文件問答），這個速度差直接決定產品能不能用。
量化版本怎麼選？4-bit 還行、1-bit 直接崩潰
Quesma 8 月用 Unsloth GGUF 在 llama.cpp 上實測 8 種 Qwen 3.8 27B 量化版本，跑 GPQA Diamond、IFBench、Terminal-Bench 2.1 三個基準：
- Q4_K_M（17GB）：在 Terminal-Bench 2.1（agentic coding）上幾乎等同 BF16 原版，可塞進一張 RTX 4090（24GB VRAM）。
- UD-Q2_K_XL：開始在 IFBench 上掉點，記憶體吃緊但還堪用。
- UD-IQ1_S（1-bit）：GPQA Diamond 直接掉到「接近亂猜」，reasoning 任務變更糟——1-bit 在這個模型上幾乎不可用。
對想自己部署的人，結論很清楚：想保留 reasoning 能力，至少 Q4_K_M；想省 VRAM 跑 12GB 卡，可試 Q3 但要自己驗收品質。
為什麼這件事重要
過去 27B 等級的開源模型，速度要嘛只能在自己顯卡上跑（每秒 30–80 tokens），要嘛得用雲端 GPU 排隊（延遲高、成本貴）。Cerebras 把 27B 拉到 1500 tokens/s 之後，等於把「開源模型的雲端即時體驗」從願景變成可買的商品。
對台灣開發者幾個實際影響：
- Coding Agent 可以認真考慮接 Cerebras：以前怕爆 TPM、怕冷卻時間，現在 1500 tokens/s + 128k context 的免費額度足以跑 prototype。
- 長 context 文件問答進入即時範圍：原本 128k context 在 vLLM 上要等 20–30 秒，Cerebras 把首次 token 延遲壓到 1 秒內。
- 27B vision 模型雲端化的第一個商用案例：Qwen 3.8 27B 是目前少數原生帶 vision encoder 的 27B 模型，Cerebras 把它做成 API，圖片理解不必自己部署多模態 pipeline。
數據解讀與質疑
官方列的 1500 tokens/s 是「token 生成速度」，但真正影響用戶體驗的是「單次請求 wall clock time」。Hacker News 開發者實測後點出關鍵問題：
“150k TPM limit on public endpoint means that it’s likely unusable for many coding tasks. Even trying it out, our account has somehow gotten moved to some limbo where we can no longer add billing information.”（HN 熱門評論，142↑）
換算下來：每分鐘 150k input tokens ≈ 每分鐘 3 個 50k context 的請求，等於「每分鐘只能用 5 秒」。對需要持續對話的工作流（Coding Agent、長對話除錯），這個額度會很快燒完，得升級到 Dedicated 方案。
另一個常被忽略的限制：Cerebras 端點的 128k context 是實作上限，不是模型本身上限。Qwen 3.8 27B 原生 context 是 262k，可延展到 100 萬。如果你的應用需要超長 context，得自己用 vLLM / SGLang 在 GPU 上跑，不要被「128k」誤導。
至於 Simon Willison 點出的「xhigh 預設會過度思考」——這是 Qwen 3.8 系列模型的通病，呼叫 API 時記得顯式設 reasoning_effort: medium，可以省下 20–30% token、輸出品質對多數任務影響不大。
怎麼自己用？
有三條路，看預算跟需求：
- 不想花錢：下載 Hugging Face 上的 Qwen/Qwen3.8-27B 權重（BF16 約 54GB），用 LM Studio 或 Ollama 在 24GB VRAM 卡上跑 Q4_K_M 量化版。
- 想要快、不想管硬體：註冊 Cerebras Inference 公開端點，免費額度試水溫，重度使用走 Dedicated。
- 自建 GPU 服務：用 vLLM 或 SGLang 部署在 1–2 張 H100 / B200 上，速度會落在 80–250 tokens/s 之間，但完全可控、沒 TPM 限制。
對台灣開發者最划算的路徑：先用 Cerebras 免費額度驗證 prototype、確認 prompt 跟 reasoning 設定沒問題，再決定要不要自建。
影片評測
- 【YouTube】Is Qwen 3.8 27b The New King of the Local LLMs?：8 月本地部署實測，重點測繪圖、SVG、coding 任務。
- 【YouTube】I Tested NEW Qwen 3.8 27B on 20 Coding Prompts：20 個 coding prompt 完整評測，涵蓋多種程式語言。
延伸閱讀
- Cerebras 官方 Model Catalog — 速度與 context 規格
- Qwen 3.8 系列官方部落格 — 模型定位與發表時程
- Simon Willison: Qwen 3.8 27B is excellent, but it defaults to wildly overthinking — 過度思考與 SVG 實測
- Quesma: Benchmarking Qwen3.8 27B quantizations — 量化版本實測
- Hacker News 討論串 — TPM 限制與部署心得
網友熱門留言 (5)