← 返回 Siami 首頁

十年老 Xeon 跑 Gemma 4 還能跑多快?工程師以一台 2016 年伺服器實測給你看

▲ 571 💬 239
十年老 Xeon 跑 Gemma 4 還能跑多快?工程師以一台 2016 年伺服器實測給你看

point.free 站長 Christina Sørensen 用一台 2016 年的二手伺服器(單顆 Intel Xeon E5-2620 v4,128GB DDR3,沒有 GPU)成功跑起了 Google 26B 參數的 MoE 模型 Gemma 4。DDR3 記憶體頻寬比現代筆電慢 5-6 倍,CPU 運算力也差 5 倍;她必須完全拋棄 Ollama 與標準 llama-cpp,改用 ik_llama.cpp 並把全部 25 個進階旗標(speculative decoding、MTP drafter、cache repack、MoE expert merge、flash attention、MLA 等)一次到位才讓它真的能運作。關鍵的效能突破來自「推理解碼」其實是「記憶體頻寬瓶頸」,所以在 CPU 上跑投機式解碼比在 GPU 上更划算——因為 CPU 算力相對便宜,瓶頸在搬運 verifier 權重進 cache 這條路;用一個能塞進 L3 cache 的小 drafter 預先生成多個 token,再用 verifier 一次驗證,可以少搬好幾 GB 資料。她還自製自動化調整 chain length 的 spec-autotune 旗標來應對不同工作負載。Sørensen 用這套手法讓「硬體其實沒資格跑」的機器跑出可用的速度,證明只要搞懂 LLM 推論的「記憶體牆」原理,並把所有能開的優化開好,即使是十年前的 Xeon 也能撐起頂級模型的終端機體驗;她的標題「A 10 year old Xeon is all you need」既是炫技也是對「沒有 GPU 就跑不動 LLM」這種迷思的有力反駁。

網友熱門留言 (5)

#1 Sweepi ▲ 89
「-t 8 只用實體核心」這說法我不太懂,這不就是 SMT 最經典的應用場景嗎?T1 等 DDR3 的時候可以幫 T0 分攤工作。另外 20MiB L3 對 4GiB 的 expert 參數根本 cache 不了多少,--cpu-moe 怎麼能減少 cache thrashing?
#2 zamadatix ▲ 67
SMT 適合「公車偶爾有空位」的場景——頻寬沒滿時,TT 可以填補空檔。但若公車已經滿載,TT 反而讓停靠站更混亂;這種記憶體瓶頸的工作負載,超執行緒是負貢獻。
#3 ethbr1 ▲ 54
這根本是 VLIW 編譯器研究的最佳實戰場景。當你精確知道執行期硬體使用模式(記憶體頻寬爆量 + 單一共用資源瓶頸)時,預先針對約束做 ILP 優化就很有搞頭;關鍵招數就是 (a) 用運算換頻寬 (b) 預載 (c) 精準控制 cache 內容量 (d) 對齊 cache/記憶體邊界。
#4 sireat ▲ 42
太讚了!我手邊有台 Dell T7610 工作站(雙 Xeon E5-2697 v2 + 128GB DDR3,24 核心 48 緒),閒置到在生灰塵。要跑出同等甚至更快的 Gemma 4 速度應該很有希望吧?核心數量更多,但這個工作負載好像不是吃核心的吧?
#5 duffyjp ▲ 28
我自己兩台 E5 系統(一台 v3/DDR4、一台 v4/DDR3)對這塊蠻熟的。v3/v4 世代 CPU 大多支援 DDR4,但確實有部分 SKU 同時支援 DDR3;ChatGPT 跟我說是當年為了特殊客戶需求出的利基產品。