point.free 站長 Christina Sørensen 用一台 2016 年的二手伺服器(單顆 Intel Xeon E5-2620 v4,128GB DDR3,沒有 GPU)成功跑起了 Google 26B 參數的 MoE 模型 Gemma 4。DDR3 記憶體頻寬比現代筆電慢 5-6 倍,CPU 運算力也差 5 倍;她必須完全拋棄 Ollama 與標準 llama-cpp,改用 ik_llama.cpp 並把全部 25 個進階旗標(speculative decoding、MTP drafter、cache repack、MoE expert merge、flash attention、MLA 等)一次到位才讓它真的能運作。關鍵的效能突破來自「推理解碼」其實是「記憶體頻寬瓶頸」,所以在 CPU 上跑投機式解碼比在 GPU 上更划算——因為 CPU 算力相對便宜,瓶頸在搬運 verifier 權重進 cache 這條路;用一個能塞進 L3 cache 的小 drafter 預先生成多個 token,再用 verifier 一次驗證,可以少搬好幾 GB 資料。她還自製自動化調整 chain length 的 spec-autotune 旗標來應對不同工作負載。Sørensen 用這套手法讓「硬體其實沒資格跑」的機器跑出可用的速度,證明只要搞懂 LLM 推論的「記憶體牆」原理,並把所有能開的優化開好,即使是十年前的 Xeon 也能撐起頂級模型的終端機體驗;她的標題「A 10 year old Xeon is all you need」既是炫技也是對「沒有 GPU 就跑不動 LLM」這種迷思的有力反駁。
十年老 Xeon 跑 Gemma 4 還能跑多快?工程師以一台 2016 年伺服器實測給你看
▲ 571 💬 239
網友熱門留言 (5)