← 返回 Siami 首頁

阿里開源 Qwen3.8-Flash-Next:125B 參數只激活 6B,訓練成本砍到 1/9

▲ 332 💬 103
阿里開源 Qwen3.8-Flash-Next:125B 參數只激活 6B,訓練成本砍到 1/9

編按:本文綜合整理自 Qwen 官方技術部落格、Qwen3.8-Flash-Next 技術報告 及 Hacker News 討論串,並加入 Siami 編輯部觀點與分析。阿里 Qwen 團隊正式開源 Qwen3.8-Flash-Next,定位為 Qwen4 架構的早期預覽版本。這是繼 Qwen3-Next 之後,Qwen 第二次把新架構的權重搶先釋出,讓社群能在 Qwen4 完整模型家族落地前,先行檢視核心設計。

模型基本資訊與定位

Qwen3.8-Flash-Next 是一個多模態 MoE 模型,主模型參數量 125B,額外掛載 51B 的 N-gram embedding,每個 token 只激活 6B 參數。原生支援 262,144 tokens 上下文,透過 YaRN 可擴展到 1,000,000 tokens。相較於上一代 Qwen3.7-Plus(397B 參數、激活 17B),新模型訓練成本僅約 1/9,但在編碼與辦公任務上反而更強——這才是真正讓業界側目的數字。模型權重同步上架 Hugging Face 與 ModelScope。商業版本命名為 Qwen3.8-Flash,於 QwenCloud 提供服務,預設 1M 上下文、整合官方工具鏈,定價為每百萬 input token 0.16 美元、output token 0.47 美元。


為什麼這件事重要

這次開源不只是「又一個 MoE 模型」。Qwen3.8-Flash-Next 同步釋出完整架構藍圖,目的是讓學界與產業界搶先研究、找問題,等 Qwen4 正式發表時已經過完整輪實戰測試。從戰略角度看,這個釋出時點極為關鍵:

  • 開源生態卡位戰:相較同期開源的 Z.ai GLM-5.3-Flash 與 DeepSeek-V4-Flash,Qwen3.8-Flash-Next 直接把訓練成本砍到 1/9,等於把中國開源模型的「性價比天花板」再往上推一截。
  • API 價格戰壓力:每百萬 token 0.16/0.47 美元的價格,逼近 GPT-5.6 Luna(0.20/1.20 美元)的成本區間,逼近 OpenAI 在 2026 年 8 月降價 80% 後的水位。
  • 架構實驗場:四個獨立維度的改進(Attention / Residual / Embedding / Optimization)幾乎涵蓋現代 LLM 的所有熱門技術路線,下一代旗艦模型很可能直接沿用。但 HN 留言區也浮現一個警訊:「過度思考」(overthinking)問題在 xhigh 推理強度下特別嚴重,這對實際部署體驗是個明顯短板。預設 xhigh 的設計,雖然能衝 benchmark 分數,但對一般使用者並不友善。

四大架構升級

Qwen3.8-Flash-Next 從四個面向同步升級模型,每一個都是當前 LLM 研究的熱區。

Attention:GDN + QSA 雙軌混合傳統 Full Attention 在長序列下計算與 KV Cache 記憶體成本都會暴漲。Qwen3.8-Flash-Next 採用 Gated DeltaNet(GDN)+ Attention 混合架構:每四層中三層用 GDN 把歷史壓縮成固定大小狀態,剩下一層做全局 Attention 精準檢索。更進一步,全局 Attention 層使用 Qwen Sparse Attention(QSA)——透過 micro-block 等級的輕量索引器壓縮序列,估計區塊重要性後再選擇性關注。相較於 DeepSeek DSA 等 token 級稀疏方案,QSA 把索引成本也壓下去了。實測在 1M tokens、90% Prefix Cache 命中率下,Qwen3.8-Flash-Next 的 Prefill 吞吐量是 Qwen3.7-Plus 的 8.6 倍。

Residual:Gated Residual 四分支設計傳統 Transformer 的殘差流只有單一通道,深層網路中早期特徵容易被稀釋。Gated Residual(GR)把殘差流拓寬成四條平行分支,用元素級動態門控制讀寫——這是結合 Hyper-Connection 的拓寬思想與 GatedNorm 的動態門控。實證分析顯示,其中一條分支會自然演化為「長程通道」,把第一層 Attention 的訊息直通到中間、後段層次。殘差狀態還能用 FP8 儲存,進一步壓低記憶體頻寬。

Embedding:N-gram Embedding 免費擴容量受 Gemma 3n 的 Per-Layer Embedding 與 DeepSeek Engram 啟發,Qwen3.8-Flash-Next 引入 N-gram Embedding:根據當前 token 與前幾個 token 的局部上下文做查找,提供額外表示。關鍵優勢:幾乎不增加每 token 計算成本,卻能額外掛載 51B 參數。這些參數因為查找位置可預判,能放在 Host Memory、用非同步預取疊加到模型運算,不必永久佔用 GPU 記憶體。

Optimization:Muon + Scaling Law 重擬採用 Muon 優化器,針對三個關鍵面向做改進:orthogonalization 精度、Muon 與 AdamW 的分工、融合參數矩陣的拆分。對真正作為二維線性映射的參數(Attention、GDN、MoE Experts 主權重)用 Muon;Embedding、MoE Router、GR 低秩參數繼續用 AdamW。還順手重新擬合了新架構的 Scaling Law,結論是能用更大的 Learning Rate 與 Batch Size,不再需要 Batch Size Warmup——直接從目標 Batch 出發,反而節省 18.8% optimizer steps。


性能對比:訓練成本砍到 1/9,分數反而更強官方給出的性能數據相當大膽,8/14 的基準測試拿到同組最高分:

任務類型基準Qwen3.8-Flash-NextQwen3.7-Plus
Agentic codingDeepSWE 1.158.716.5
SWE-bench Pro62.555.8
Long-horizon officeCoWorkBench73.965.1
Real-world tool useToolathlon Verified73.550.6
Instruction followingIFBench81.379.1
Scientific reasoningGPQA Diamond91.790.3

多模態部分同樣強勢:AndroidWorld 84.5、MathVision 加上 chain-of-thought 後 95.7、RealWorldQA 88.5,都壓過同期 Claude-Opus-4.6 (Max)。

HN 用戶點出關鍵:「純比單價會誤導,因為不同模型完成同任務用的 token 量差很多。」3.8-Flash-Next 訓練成本僅前代 1/9,但單次任務實際 token 消耗還待社群完整實測。


數據解讀與質疑

數字漂亮,但魔鬼藏在細節裡:

  • 125B 總參數 ≠ 125B VRAM 需求:MoE 雖然每 token 只激活 6B,但因為專家是「隨機路由」,實際部署仍建議留 80GB+ 高速記憶體才能跑得順。HN 留言區有人回報「PCIe 變成瓶頸,光 CPU 計算可能還更快」。
  • xhigh 預設值過激進:官方雖然支援 xhigh / medium / low 三段推理強度,但預設 xhigh 在一般任務上會「過度思考」——簡單任務也會糾結 5-10 分鐘(vs gemma4:26b-a3b 不到 20 秒)。
  • 世界知識 vs 工具能力:HN 用戶 @scaling_law 質疑,「模型沒有大型模型那樣的世界知識,只有『大部分的智慧』」。對需要即時查證、引用最新資料的場景,可能要靠工具呼叫補回來。
  • N-gram Embedding 51B 是「外掛」:不能算主模型能力,但會被算進總參數。對比 Qwen3.8-27B 的 27B,3.8-Flash-Next 表面參數大很多,但實際矩陣乘法預算反而小(6B vs 27B)。
  • 降價策略可持續性:每百萬 token 0.16 美元的價格是否反映真實推理成本?HN 討論串有人直指「中國補貼價格,這價位撐不久」——但也有人反駁「實際上就是要按公告價格做事」。

部署與生態整合官方同步提供完整生態整合:

  • API 用法:OpenAI-compatible Chat Completions / Responses API、Anthropic-compatible interface,北京、新加坡、美國(維吉尼亞)三地 endpoint 可選。
  • Claude Code 接入:透過 ANTHROPIC_BASE_URL 指向 dashscope,可直接用 Claude Code 開發。
  • Codex 支援:支援 OpenAI Responses protocol,可在 Codex 直接呼叫 qwen3.8-flash。
  • QwenWork 整合:QwenWork 平台已將 Qwen3.8-Flash-Next 整合進新推出的「Standard」模式,主打高 CP 值辦公自動化。
  • 本地部署:Qoder CLI、Qwen Code、OpenClaw 都提供一鍵安裝腳本。對個人開發者來說,最值得注意的是 Claude Code / Codex 都能直接呼叫——等於用 OpenAI / Anthropic 的 CLI 體驗,跑的是 Qwen 的開源權重。

一句話總結

Qwen3.8-Flash-Next 不是「更大的模型」,而是「更便宜的模型」:125B 總參數 + 51B 旁掛 N-gram embedding,每 token 只激活 6B,訓練成本砍到 Qwen3.7-Plus 的 1/9,價格逼近 OpenAI 降價後的水位。如果下一代 Qwen4 真的沿用這套架構,中國開源生態的性價比優勢會再上一階;但 xhigh 預設的「過度思考」問題,仍是實際部署需要繞過的坑。

網友熱門留言 (5)

#1 HN用戶 @xhigh_test ▲ 128
在 xhigh 推理強度下實測,遇到過幾次『過度思考迴圈』,原本不該那麼難的任務硬是卡住。整體能力確實驚艷,但日常用通常需要手動切到 medium 才順。預設 xhigh 對很多人來說太激進。
#2 HN用戶 @cost_analyst ▲ 92
純比單價會誤導,因為不同模型完成同任務用的 token 量差很多。Artificial Analysis 的『每任務成本』才公平:GPT-5.6 Luna(max) 每任務 $0.05,Qwen3.8 27B 是 $0.25,差 5 倍。3.8-Flash-Next 還沒測,但 MoE 結構應該會很省。
#3 HN用戶 @vram_hacker ▲ 87
125B 總參數 + 51B N-gram embedding,實際只激活 6B。要可用的速度建議至少 80GB 高速記憶體(VRAM 優先)。MoE 設計的優勢是:可以用統一記憶體(CPU RAM + 分頁到 VRAM),因為大部分參數不是每個 token 都會讀取。MacBook 用者可以期待。
#4 HN用戶 @moe_purist ▲ 76
沒人討論的是 N-gram embedding 這招。51B 參數『看起來很大』,但因為查找位置可以預先決定、能放 host memory 異步預取,等於免費擴容量。Gemma 3n 的 Per-Layer Embedding 走同一條路,DeepSeek Engram 也是。MoE 已經是標配,但 N-gram embedding 是新一波『稀疏化』的方向。
#5 HN用戶 @scaling_law ▲ 64
訓練成本只有 Qwen3.7-Plus 的 1/9,但程式碼與辦公任務反而更強,這才是真正值得產業關注的數字。中國團隊的『scaling law refit + 架構 co-design』玩得很透。Muon optimizer 的 orthogonalization accuracy 改進、細粒度 fused parameter 拆分——這些細節不是新聞稿會寫的東西,但決定了能不能跑得起來。