← 返回 Siami 首頁

LFM2.5-24B-A2B:Liquid AI 開源 24B 邊緣模型,Apple M5 Max 跑 184 tokens/s

▲ 89 💬 21
LFM2.5-24B-A2B:Liquid AI 開源 24B 邊緣模型,Apple M5 Max 跑 184 tokens/s

Liquid AI 今日發布 LFM2.5-24B-A2B,這是一款 24B 總參數、僅 2B 活躍參數的推理模型,專為裝置端 agent 而設計。它是 LFM2.5 系列中最大、也是最後一款模型,整個系列從 LFM2.5-230M 一路延伸到 LFM2.5-24B-A2B,橫跨兩個數量級。

編按:本文綜合整理自 Liquid AI 官方部落格、Hugging Face 模型頁、Hacker News 討論串,並加入 Siami 編輯部觀點與分析。

為什麼這件事重要

在 Apple M5 Max 上解碼速度達到 184 tokens/s、單張 NVIDIA B300 GPU 高並發下輸出超過 21K tokens/s——這個速度比同級 MoE 模型快 1.7 倍,且只需 2B 活躍參數。對開發者而言,這意味著可以在自己的筆電、甚至手機上跑出一個會用工具的本地助手,而不必依賴雲端 API。

24B 總參數 / 2B 活躍參數的 MoE 配置,是這次 Liquid AI 押注的核心:模型容量大、推理成本低、且能在消費級硬體上即時回應。

當 Anthropic 與 OpenAI 持續把模型推向雲端超算的同時,Liquid AI 走了一條相反的路:把智慧塞進你的機器裡。對於在意資料隱私、需要離線運作、或想降低 API 成本的開發者,這是一個值得認真評估的選項。

技術亮點

LFM2.5-24B-A2B 從前代 LFM2-24B-A2B 演進而來,主要升級點包括:

  • 詞彙表擴充:65K → 128K tokens,改善非拉丁語系 tokenization
  • 上下文視窗:32,768 → 131,072 tokens
  • 預訓練規模:17T → 33T tokens
  • 後訓練:五階段流水線(SFT → 教師特化 → MOPD → Agentic RL)
  • 架構延續:40 層、64 experts/MoE block、top-4 routing、gated short convolution + GQA 混合架構

後訓練階段是在 agent harness(OpenClaw、Hermes Agent、Pi、OpenCode)中進行的強化學習,這也是它擅長工具呼叫的關鍵原因。


跑分對比:擊敗更大對手

Liquid AI 在 16 個基準上評估了 LFM2.5-24B-A2B。雖然總參數與活躍參數都是同類最小,卻在 5 個 agentic / 工具使用基準上領先或追平 Qwen3.6-35B-A3B(後者總參數多 50%)。

基準LFM2.5-24B-A2BQwen3.6-35B-A3B
AutomationBench27.698.72
BFCLv465.0165.00
ToolSandbox80.7175.02
LiveClaw48.0938.19
τ³-Bench Banking8.047.63
SWE-Bench Verified51.0066.20

關鍵亮點:

  • 在 AutomationBench 上以 27.69 vs 8.72 大幅領先,是次優模型的三倍多
  • 在所有三個指令遵循基準(IFEval、IFBench、Multi-IF)上都勝出
  • 知識型基準(GPQA Diamond、HLE)與編碼基準(SWE-Bench)仍由大模型主導

對裝置端 agent 而言,這個結果的意義是:當你的任務是「呼叫工具、執行任務」,小模型反而能勝過大模型;但若要回答知識問題,仍需搭配 RAG 或搜尋。


裝置端實測速度

LFM2.5-24B-A2B 在第一天就獲得完整推理生態系支援:

  • llama.cpp — GGUF 量化,邊緣推論
  • MLX — Apple Silicon 最佳化
  • vLLM — GPU 加速服務
  • SGLang — 高效能 GPU 服務框架
  • ONNX — 跨平台推論

實測速度:

  • Apple M5 Max:184 tokens/s(解碼)
  • AMD Ryzen AI Max+ 395:114 tokens/s
  • NVIDIA B300 GPU:高並發時超過 21K output tokens/s

比同級 MoE 模型快 1.7 倍,且記憶體用量最低。在蘋果筆電上跑會用工具的本地模型,已經是「即時互動」等級的體驗。


質疑與限制

並非所有人都買單。HN 用戶 delicious_apple 直接指出:

在 SWE-Bench-Verified 上 LFM2.5-24B-A2B 比 Qwen3.6-35B-A3B 差了一大截。它只在 AutomationBench、ToolSandbox、LiveClaw 上明顯勝出。

另一位用戶 kennywinker 質疑裝置端 agent 的市場:

多少 iPhone 用戶這輩子從沒打開過 Shortcuts?在手機上自動化感覺很 niche。我不認為 local vs cloud 的經濟模型會改變,除非有真正 killer app 出現。

其他值得注意的限制:

  • 授權條款對商業使用有限制(Liquid 的 license 較 restrictive)
  • 仍是「reasoning-only」模型,強制走 CoT,對簡單任務可能 over-reasoning
  • 知識基準(GPQA、HLE)明顯落後大模型,需要 RAG 補強

取得方式

  • Hugging Face:LiquidAI/LFM2.5-24B-A2B
  • API:Liquid Console 提供 $2 試用額度,定價 $0.10/1M input、$1.00/1M output
  • 本機部署:完整支援 llama.cpp、MLX、vLLM、SGLang、ONNX

Siami 編按

LFM2.5-24B-A2B 的真正意義不是「又快又小」,而是 MoE + Agentic RL 的組合拳。Liquid AI 把後訓練重心放在 agent harness(OpenClaw、Hermes Agent、Pi、OpenCode)的強化學習上,這讓模型在「規劃 → 呼叫工具 → 驗證結果」這個循環上特別強。

對台灣的開發者社群,這有三層意義:

  1. 本地優先的 AI 工具鏈 正在成形——你的筆電可以是 agent 的家
  2. 開源模型追上閉源雲端 的時刻又往前一步,特別是在工具使用領域
  3. 裝置端 AI 的商業模式 還沒定型,現在是早期佈局的好時機

Liquid AI 不是唯一走這條路的玩家(Apple Intelligence、Qualcomm 都在做類似的東西),但他們的開放態度與高效架構,讓這個 24B/2B 的 MoE 成為目前最值得認真試試的裝置端模型之一。

網友熱門留言 (5)

#1 delicious_apple (HN) ▲ 12
看 LFM2.5-24B-A2B 的 benchmark 頁面,與 Qwen3.6-35B-A3B 相比,它在 SWE-Bench-Verified 上的得分明顯較差。它只有在 AutomationBench、ToolSandbox 和 LiveClaw 上明顯勝過 Qwen3.6-35B。至少就我的使用情境來看,Qwen3.6-35B-A3B 似乎比這個新模型更實用。
#2 2001zhaozhao (HN) ▲ 9
這看起來是大事吧?如果 Qwen 推出 Qwen3.8 同等大小的 MoE,以天真外推來看能力大概會跟這個模型差不多。所以基本上是有人在參數效率上追上了 Qwen(雖然 Qwen 是 1-2 個月前的版本)。
#3 sebmellen (HN) ▲ 7
在 Apple M5 Max 上跑 184 tokens/s、單張 NVIDIA B300 GPU 高達 21K output tokens/s——這對一個看起來很聰明的模型來說是相當驚人的數字!不過這篇文章沒說明的是,這個速度是搭配 131K context window 還是較短 context 的?
#4 spoaceman7777 (HN) ▲ 5
我猜這主要是 Agentic RL 環境在特定領域的優勢。如果他們能拿到一樣多機構級的軟體知識、運算基礎設施、和數億用戶源源不絕的高科技 query,誰勝誰負還很難說。
#5 dvt (HN) ▲ 4
訓練這種中等規模的模型大概要 50 萬到 500 萬美元。Liquid 主要把錢花在 GPU-hour 上。授權條款對我來說不太合理,因為如果你要在商業產品中使用這個模型,限制太多。