← 返回 Siami 首頁

Cerebras 把 Qwen 3.8 27B 跑到 1500 tokens/sec 開源旗艦模型首次進入「即時回應」級距

▲ 348 💬 112
Cerebras 把 Qwen 3.8 27B 跑到 1500 tokens/sec 開源旗艦模型首次進入「即時回應」級距

事件總覽

2026 年 9 月 3 日,Cerebras 正式把阿里巴巴 Qwen 團隊於 8 月中旬開源的 Qwen 3.8 27B 放上自家推理雲端點,以約 1500 tokens/sec 的速度對外提供服務。這是該模型首次在「公開推理 API」端進入「類即時回應」級距,HN 上線一天內衝到 500+ 分、150+ 條留言。

Qwen 3.8 27B 本身定位為「27B dense 多模態模型」,主打 agentic coding、tool use、研究、長流程 workflow 四大場景;對開發者來說,Cerebras 上線代表這個 Apache 2.0 開源旗艦不再只能本地 4 tok/s 慢慢跑,而是可以直接雲端呼叫、價格 /usr/bin/bash.99/M input、.49/M output。

編按:本文綜合整理自 Cerebras 官方 Model Catalog、HN 討論串、Hugging Face 模型卡,並加入 Siami 編輯部對成本結構與硬體差異的分析。


模型基本規格與計價

Cerebras 把 Qwen 3.8 27B 切成兩個 tier 提供:

核心規格:

  • 參數量:27B(dense,非 MoE)
  • 授權:Apache 2.0(可自由商用、微調、再發布)
  • 模態:輸入支援文字 + 圖片(base64 PNG/JPEG),輸出文字
  • 速度:~1500 tokens/sec(Cerebras 峰值)
  • Reasoning:預設開啟 high,可手動設成 關閉

Free Trial 級距(免費但小):

  • 5 req/min、30K uncached tokens/min、90K total tokens/min
  • 每日 1M tokens 上限
  • 每張圖 2 張上限
  • Context window:64k tokens、max output:32k tokens

Developer 級距($10/月訂閱 + pay-as-you-go):

  • 300 req/min、150K uncached tokens/min、450K total tokens/min
  • Context window:128k tokens、max output:40k tokens
  • 圖片上限:每請求 10 張

價格表(per million tokens):

TierInputOutput
Free Trial$0$0
Developer$0.99$1.49
Enterprise客製報價客製報價

Cerebras 在免費層把 daily token 卡在 1M,是典型的「讓你跑得動、但跑不久」配置 — 開發者要量產必須升級 Developer 或聯絡 Enterprise。


Cerebras 為什麼能跑到 1500 tok/s

這背後不是模型變快了,是硬體架構。Cerebras 的 WSE-3 (Wafer Scale Engine) 是把整片 12 吋晶圓當作單一顆晶片設計:

  • 4 兆電晶體、90 萬個 AI 核心
  • 44 GB on-chip SRAM、21 PB/s 記憶體頻寬(官方數字,宣稱為 H100 的 7,000 倍)
  • 250 petaflops AI 算力(Turbo 版本)

GPU 的瓶頸是 HBM 頻寬與跨卡通訊延遲;Cerebras 把整個模型塞進單一晶圓的 SRAM,根本不用 off-chip 存取,所以同一個 27B 模型在 A100/H100 跑可能 50-80 tok/s,上了 WSE-3 直接拉到千級。

但這也帶來限制:WSE-3 是單租戶硬體,產能有限、價格無法像 GPU 雲那樣隨著摩爾定律下降。所以 Cerebras 的商業模式一直是「速度溢價」 — 你付的是「即時回應」這件事的錢。


為什麼這件事重要

這不是單純「模型又多一個 host」。

Qwen 3.8 27B 在 Hugging Face 開源時的定位是「第一個能在筆電跑的 Opus 級模型」 — 開源社群跑出來的 benchmark 顯示它在 coding、reasoning 任務上接近 Opus 4.6 等級,但參數量只有 27B。原本它最大的弱點就是「本地跑不快、雲端跑不便宜」。

Cerebras 這次上線把這個弱點補掉了:

  • 對開發者:以前要在「本地 4 tok/s」跟「GPT-5 API /M」之間選,現在多了一個「Cerebras 1500 tok/s、/usr/bin/bash.99/M input」的中間選項
  • 對企業:agentic workflow 通常需要 model 來回很多次才能完成任務,速度從 50 tok/s 拉到 1500 tok/s 等於把整個 agent loop 的 wall-clock 縮短 30 倍,使用者體驗從「卡住等」變「流暢對話」
  • 對市場:這是開源模型第一次在「公開推理 API」端進入即時級距,開始侵蝕 GPT-5/Claude 等閉源 API 的護城河

Hugging Face 上 Qwen3.8-27B 的討論串裡也有人提到,DFlash2 這類 speculative decoding 技術還能讓本地速度再提升 4 倍 — 等於開源 + 開硬體 + 開加速器三條路同時在跑,Cerebras 只是先把「雲端即時」這個分支打通。


數據解讀與質疑

官方速度 vs 實測速度:Cerebras 寫的是「~1500 tokens/sec」,但 HN 留言區實測 p50 大約是 890 tok/s,且會偶爾碰到 429 rate limit。1500 應該是尖峰值而非保證值,跟 AWS「EC2 最高 100 Gbps」這種 caveat 一樣。

/usr/bin/bash.99/M input 的相對位置:這個價格比 Together AI、Fireworks 的 Qwen 3.8 27B 報價略貴,但比 Claude Opus 4.5、GPT-5 便宜約 3-5 倍。Cerebras 賣的不是絕對便宜,是「便宜 + 即時」的組合。

Free Tier 的天花板:免費層只有 1M tokens/日、64k context,比本地跑還不如(本地沒 daily limit)。Free Tier 的用途比較像是「讓你跑通 pipeline 驗證程式碼」,不是真的讓你做 production 應用。

Developer 級距的 context window 限制:128k 看起來很大,但對長文件 summarization、codebase-level reasoning 來說其實偏小。OpenAI、Anthropic 都開到 200k 甚至 1M,Cerebras 在這個維度還是有差距。

沒有 Streaming Audio/Video:模型支援圖片輸入,但「不支援 image generation、video、audio、外部 image URL」。這個限制對純文字 + 偶爾截圖的 agent 來說夠用,但對 multi-modal agent 來說還是要另外接其他服務。


相關資源

編按:本文綜合整理自 Cerebras 官方 Model Catalog、HN 討論串、Hugging Face 模型卡,並加入 Siami 編輯部對成本結構與硬體差異的分析。所有報價與速率限制以 2026-09-03 上線時為準,後續可能有調整。

網友熱門留言 (5)

#1 HN 用戶(rate limit 實測) ▲ 248
我用 Cerebras 跑了 session 花了 $1.60、總時間 5.1 分鐘,中間偶爾會噴 429 rate limit,p50 速度實測 890 tok/s。標題寫 1500 看起來是尖峰值。
#2 HN 用戶(成本計算) ▲ 192
這其實是 $10/月開發者帳號 + Qwen 3.8 27B input $0.99/M、output $1.49/M 的 pay-as-you-go,用 128k context window 跑長對話其實不算便宜。
#3 HN 用戶(評論員) ▲ 156
Qwen 3.8 27B 在自家 benchmark 大約是 Opus 4.6 等級,但 27B 跑得比人家大半截模型還強;Cerebras 把它做成 1500 tok/s 等於把『頂級模型』變成『類即時回應』,這是商業化的關鍵。
#4 HN 用戶(Cerebras vs GPU) ▲ 89
Cerebras WSE-3 的重點不是純粹快,而是對 reasoning 模型來說『快』變成另一個維度 — 同一個 prompt 用 GPU 跑 30 秒跟用 Cerebras 跑 2 秒,使用者感受差很多。
#5 HN 用戶(本地玩家) ▲ 67
本地跑 Qwen 3.8 27B 大概 4 tok/s,Cerebras 1500 tok/s 是 375 倍。對不是頂級硬體玩家的人來說,雲端這價差其實還算划算。