編按:本文綜合整理自 Qwen 官方技術部落格、Qwen3.8-Flash-Next 技術報告 及 Hacker News 討論串,並加入 Siami 編輯部觀點與分析。阿里 Qwen 團隊正式開源 Qwen3.8-Flash-Next,定位為 Qwen4 架構的早期預覽版本。這是繼 Qwen3-Next 之後,Qwen 第二次把新架構的權重搶先釋出,讓社群能在 Qwen4 完整模型家族落地前,先行檢視核心設計。
模型基本資訊與定位
Qwen3.8-Flash-Next 是一個多模態 MoE 模型,主模型參數量 125B,額外掛載 51B 的 N-gram embedding,每個 token 只激活 6B 參數。原生支援 262,144 tokens 上下文,透過 YaRN 可擴展到 1,000,000 tokens。相較於上一代 Qwen3.7-Plus(397B 參數、激活 17B),新模型訓練成本僅約 1/9,但在編碼與辦公任務上反而更強——這才是真正讓業界側目的數字。模型權重同步上架 Hugging Face 與 ModelScope。商業版本命名為 Qwen3.8-Flash,於 QwenCloud 提供服務,預設 1M 上下文、整合官方工具鏈,定價為每百萬 input token 0.16 美元、output token 0.47 美元。
為什麼這件事重要
這次開源不只是「又一個 MoE 模型」。Qwen3.8-Flash-Next 同步釋出完整架構藍圖,目的是讓學界與產業界搶先研究、找問題,等 Qwen4 正式發表時已經過完整輪實戰測試。從戰略角度看,這個釋出時點極為關鍵:
- 開源生態卡位戰:相較同期開源的 Z.ai GLM-5.3-Flash 與 DeepSeek-V4-Flash,Qwen3.8-Flash-Next 直接把訓練成本砍到 1/9,等於把中國開源模型的「性價比天花板」再往上推一截。
- API 價格戰壓力:每百萬 token 0.16/0.47 美元的價格,逼近 GPT-5.6 Luna(0.20/1.20 美元)的成本區間,逼近 OpenAI 在 2026 年 8 月降價 80% 後的水位。
- 架構實驗場:四個獨立維度的改進(Attention / Residual / Embedding / Optimization)幾乎涵蓋現代 LLM 的所有熱門技術路線,下一代旗艦模型很可能直接沿用。但 HN 留言區也浮現一個警訊:「過度思考」(overthinking)問題在 xhigh 推理強度下特別嚴重,這對實際部署體驗是個明顯短板。預設 xhigh 的設計,雖然能衝 benchmark 分數,但對一般使用者並不友善。
四大架構升級
Qwen3.8-Flash-Next 從四個面向同步升級模型,每一個都是當前 LLM 研究的熱區。
Attention:GDN + QSA 雙軌混合傳統 Full Attention 在長序列下計算與 KV Cache 記憶體成本都會暴漲。Qwen3.8-Flash-Next 採用 Gated DeltaNet(GDN)+ Attention 混合架構:每四層中三層用 GDN 把歷史壓縮成固定大小狀態,剩下一層做全局 Attention 精準檢索。更進一步,全局 Attention 層使用 Qwen Sparse Attention(QSA)——透過 micro-block 等級的輕量索引器壓縮序列,估計區塊重要性後再選擇性關注。相較於 DeepSeek DSA 等 token 級稀疏方案,QSA 把索引成本也壓下去了。實測在 1M tokens、90% Prefix Cache 命中率下,Qwen3.8-Flash-Next 的 Prefill 吞吐量是 Qwen3.7-Plus 的 8.6 倍。
Residual:Gated Residual 四分支設計傳統 Transformer 的殘差流只有單一通道,深層網路中早期特徵容易被稀釋。Gated Residual(GR)把殘差流拓寬成四條平行分支,用元素級動態門控制讀寫——這是結合 Hyper-Connection 的拓寬思想與 GatedNorm 的動態門控。實證分析顯示,其中一條分支會自然演化為「長程通道」,把第一層 Attention 的訊息直通到中間、後段層次。殘差狀態還能用 FP8 儲存,進一步壓低記憶體頻寬。
Embedding:N-gram Embedding 免費擴容量受 Gemma 3n 的 Per-Layer Embedding 與 DeepSeek Engram 啟發,Qwen3.8-Flash-Next 引入 N-gram Embedding:根據當前 token 與前幾個 token 的局部上下文做查找,提供額外表示。關鍵優勢:幾乎不增加每 token 計算成本,卻能額外掛載 51B 參數。這些參數因為查找位置可預判,能放在 Host Memory、用非同步預取疊加到模型運算,不必永久佔用 GPU 記憶體。
Optimization:Muon + Scaling Law 重擬採用 Muon 優化器,針對三個關鍵面向做改進:orthogonalization 精度、Muon 與 AdamW 的分工、融合參數矩陣的拆分。對真正作為二維線性映射的參數(Attention、GDN、MoE Experts 主權重)用 Muon;Embedding、MoE Router、GR 低秩參數繼續用 AdamW。還順手重新擬合了新架構的 Scaling Law,結論是能用更大的 Learning Rate 與 Batch Size,不再需要 Batch Size Warmup——直接從目標 Batch 出發,反而節省 18.8% optimizer steps。
性能對比:訓練成本砍到 1/9,分數反而更強官方給出的性能數據相當大膽,8/14 的基準測試拿到同組最高分:
| 任務類型 | 基準 | Qwen3.8-Flash-Next | Qwen3.7-Plus |
|---|---|---|---|
| Agentic coding | DeepSWE 1.1 | 58.7 | 16.5 |
| SWE-bench Pro | 62.5 | 55.8 | |
| Long-horizon office | CoWorkBench | 73.9 | 65.1 |
| Real-world tool use | Toolathlon Verified | 73.5 | 50.6 |
| Instruction following | IFBench | 81.3 | 79.1 |
| Scientific reasoning | GPQA Diamond | 91.7 | 90.3 |
多模態部分同樣強勢:AndroidWorld 84.5、MathVision 加上 chain-of-thought 後 95.7、RealWorldQA 88.5,都壓過同期 Claude-Opus-4.6 (Max)。
HN 用戶點出關鍵:「純比單價會誤導,因為不同模型完成同任務用的 token 量差很多。」3.8-Flash-Next 訓練成本僅前代 1/9,但單次任務實際 token 消耗還待社群完整實測。
數據解讀與質疑
數字漂亮,但魔鬼藏在細節裡:
- 125B 總參數 ≠ 125B VRAM 需求:MoE 雖然每 token 只激活 6B,但因為專家是「隨機路由」,實際部署仍建議留 80GB+ 高速記憶體才能跑得順。HN 留言區有人回報「PCIe 變成瓶頸,光 CPU 計算可能還更快」。
- xhigh 預設值過激進:官方雖然支援 xhigh / medium / low 三段推理強度,但預設 xhigh 在一般任務上會「過度思考」——簡單任務也會糾結 5-10 分鐘(vs gemma4:26b-a3b 不到 20 秒)。
- 世界知識 vs 工具能力:HN 用戶 @scaling_law 質疑,「模型沒有大型模型那樣的世界知識,只有『大部分的智慧』」。對需要即時查證、引用最新資料的場景,可能要靠工具呼叫補回來。
- N-gram Embedding 51B 是「外掛」:不能算主模型能力,但會被算進總參數。對比 Qwen3.8-27B 的 27B,3.8-Flash-Next 表面參數大很多,但實際矩陣乘法預算反而小(6B vs 27B)。
- 降價策略可持續性:每百萬 token 0.16 美元的價格是否反映真實推理成本?HN 討論串有人直指「中國補貼價格,這價位撐不久」——但也有人反駁「實際上就是要按公告價格做事」。
部署與生態整合官方同步提供完整生態整合:
- API 用法:OpenAI-compatible Chat Completions / Responses API、Anthropic-compatible interface,北京、新加坡、美國(維吉尼亞)三地 endpoint 可選。
- Claude Code 接入:透過 ANTHROPIC_BASE_URL 指向 dashscope,可直接用 Claude Code 開發。
- Codex 支援:支援 OpenAI Responses protocol,可在 Codex 直接呼叫
qwen3.8-flash。 - QwenWork 整合:QwenWork 平台已將 Qwen3.8-Flash-Next 整合進新推出的「Standard」模式,主打高 CP 值辦公自動化。
- 本地部署:Qoder CLI、Qwen Code、OpenClaw 都提供一鍵安裝腳本。對個人開發者來說,最值得注意的是 Claude Code / Codex 都能直接呼叫——等於用 OpenAI / Anthropic 的 CLI 體驗,跑的是 Qwen 的開源權重。
一句話總結
Qwen3.8-Flash-Next 不是「更大的模型」,而是「更便宜的模型」:125B 總參數 + 51B 旁掛 N-gram embedding,每 token 只激活 6B,訓練成本砍到 Qwen3.7-Plus 的 1/9,價格逼近 OpenAI 降價後的水位。如果下一代 Qwen4 真的沿用這套架構,中國開源生態的性價比優勢會再上一階;但 xhigh 預設的「過度思考」問題,仍是實際部署需要繞過的坑。
網友熱門留言 (5)