← 返回 Siami 首頁

HumanLayer 創辦人撰長文拆解「軟體工廠」為何失敗:再多的 Harness 工程也救不了無法 RL 的維護性

▲ 216 💬 169
HumanLayer 創辦人撰長文拆解「軟體工廠」為何失敗:再多的 Harness 工程也救不了無法 RL 的維護性

編按:本文綜合整理自 HumanLayer 共同創辦人 Dex Horthy 發表於 GitHub 的長文 Why Software Factories Fail、Hacker News 討論串(169 則留言)、Faros AI 的 AI Acceleration Whiplash 研究報告,並加入 Siami 編輯部觀點與分析。

2026 年 AI 工程界最熱的詞是「軟體工廠」(software factory)——把所有開發流程交給 agent,宣稱從寫 code 到部署都不需要人類讀程式碼。StrongDM 的 lights-off software factory、OpenAI 的 Symphony、Ramp、Stripe、WorkOS、Brex 都先後吹噓自家 agent 寫了 75% 的程式碼。但 HumanLayer 共同創辦人 Dex Horthy 在 7 月 23 日發表一篇超過 700 行的長文,標題直接打臉這個潮流:「Why Software Factories Fail」(軟體工廠為什麼會失敗)。這篇文章在 Hacker News 上 12 小時衝到 216 分、169 則留言(截至本文截稿),成為週末最熱門的技術討論之一。

從「Software Factory」一詞說起

Horthy 在文章中追溯「software factory」這個詞的歷史:它最早來自 1968 年北約的一場研討會——就是那場會議同時催生了「software engineering」這個詞。半個多世紀過去,這個概念從「流水線生產軟體」演化到 2026 年的「AI 全自動寫 code」。但他觀察到一個關鍵轉折:2026 年初開始,整個產業集體陷入了「只要更多 loops、更多 tokens、更好 prompt,黑暗工廠就能成功」的迷思。StrongDM、OpenAI Symphony 都聲稱達到了「無人讀 code、無人寫 code」的境界——只要把 code review 拿掉,把人力投資到測試、沙盒、監控、回饋收集就好。

我必須老實說:這些人真的很聰明,我非常尊敬他們。但最憤世嫉俗的看法是,這不過是又一個把 VC 資金灌進 slop cannon 的藉口。 — Dex Horthy

我們親身試過,結果是災難

Horthy 沒有紙上談兵。他在文中坦承:2025 年 7 月,HumanLayer 自己試了三個月的「lights-off」。結果呢?

你的網站掛了、你的使用者暴怒、而你——如果你跟我一樣——苦不堪言,因為你要回去讀那些你放任流入系統的 slop code。第三次災難發生在 2025 年 11 月,他們決定砍掉重來。共同創辦人花了「整整兩週」窩在 VS Code(不是 Cursor)裡手動重建所有 pattern。Horthy 寫道:「the downside risk was worth the velocity」這個藉口,到第三次就撐不住了。

這個故事呼應了 Faros AI 的 AI Acceleration Whiplash 研究:自從 2025 年底工程師開始大量採用 AI 編碼工具以來,PR review 品質大幅下滑、PR 數量暴增、每月 incident 數 +57.9%、bugs per developer +54%。

為什麼 Harness Engineering 不夠

Horthy 的核心論點是:這不是技巧問題,是模型訓練問題。

他深入研究了 RLVR(Reinforcement Learning from Verifier Rewards)與 benchmark 的運作機制,得到一個殘酷的結論:

怎麼到達正確答案並不重要。如果測試通過,就算贏。但沒有任何懲罰機制會扣你『侵蝕 codebase 可維護性』這個分數。

他的論證用了一個具體例子——SWE-bench Multilingual 中的 fastlane__fastlane-19304。模型的訓練過程只看兩件事:原始 bug 修了沒(FAIL_TO_PASS)、其他東西有沒有壞(PASS_TO_PASS)。但要怎麼抵達那個 fix,用 try-catch 包死所有例外、用 lazy type cast 偷懶、寫出未來難以維護的程式碼——這些完全不在評分函數裡。這就是為什麼你會在 AI 生成 code 裡看到一堆 try catch (json parse) 和粗暴的型別轉換。Benchmark 不會因此扣分,模型就學不到「設計乾淨」這件事。

測試給你秒級回饋,但糟糕架構的成本函數是以週、以月、以年計算的。

為什麼 Claude Code 能贏?因為 Anthropic 改的是模型本身

Horthy 在文章中給了這個問題一個產業級的解答:Claude Code 之所以能在一年內從零衝到 40 億美元營收(現已接近 90 億),不是因為它的 CLI 寫得多好——aider、cline、codebuff 早就有同樣的工具組。

關鍵是:Anthropic 是在模型內部做 RL 的——在 harness 裡 RL 模型,這是第一次有實驗室「對著自己即將出貨的工具組」訓練模型。SWE-Agent 2024 年那篇 論文 證明了「工具形狀的小改動會造成模型行為的大改變」——而 Anthropic 直接改的是模型權重本身。

OpenAI 團隊 2025 年 11 月的一場 演講 講得更直白:如果你建了 harness 但沒擁有模型權重、不能在 harness 裡 RL 模型,你永遠會輸給同時擁有這兩者的團隊。

那現實中該怎麼辦?

Horthy 沒停在批判。他在文章後半段給出了他的「lights-on agentic factory」配方——四個階段:

  1. Product Review(產品審查):釐清要解決什麼 user pain、成功長什麼樣
  2. System Architecture(系統架構):對齊服務、API、schema、queue 怎麼互動
  3. Program Design(程式設計):在 architecture 之下,再深入一層——型別、方法簽章、call-stack 樹、檔案樹 diff
  4. Vertical Slices(垂直切片):不要按 stack 順序(DB → service → API → frontend),要按 feature 順序,從中間往外擴他的核心建議是 「30 分鐘的計畫換數小時的 review」,而且在 PR 階段人類必須還在 loop 裡。他引用 Addy Osmani 的經典區分:「vibe coding 一個只有十幾個人用的 side project」和「維護一個十年的 enterprise 系統」是完全不同的兩個世界,而網路上大部分建議都是其中一邊的人在指導另一邊怎麼活。

為什麼這件事重要

Siami 編輯部觀點:這篇文章之所以在 HN 引爆,不是因為它提出了什麼新理論,而是它用第一人稱的災難經歷 + 紮實的 RL 機制分析,把整個產業正在集體迴避的問題攤開來了。

2026 上半年,所有主流 AI 編碼公司的市場敘事都圍繞著「產量」:Ramp、Stripe、Brex 都在曬 PR 數、曬 agent 寫了百分之多少的 code。但這篇文章提醒我們:產量數字的反面是可維護性的死亡。更值得注意的是,Horthy 把問題精準定位到「這不是 skill issue,是 training issue」——意思是你換 10 種 prompt、換 100 種 harness 框架都沒用,因為 RL 的 reward function 從來就沒教過模型「設計乾淨」這件事。這是一個需要 benchmark 設計者、RL 工程師、整個產業一起面對的結構性問題。對台灣與中文圈的開發團隊來說,這個警告尤其關鍵。我們看到太多新創團隊正在擁抱「黑暗工廠」敘事——但如果你正在維護的是已經跑了一年以上的 production 系統、你的使用者不會容忍反覆的 incident、你的工程師團隊沒有無限時間讀所有 PR——那這篇文章就是一面鏡子。

數據解讀與質疑

幾個值得停下來質疑的數字與論點:

  • Claude Code 90 億美元營收:這個數字來自 Anthropic 自己與第三方估計,沒有經過審計。實際 ARR 可能在 40-90 億這個區間。Horthy 在文中用「something like」這種模糊語氣,應該被理解為「業界估算」。
  • 「75% agent 寫 code」的企業宣稱:Ramp、Stripe、WorkOS、Brex 都給了類似數字,但沒有人公開定義「agent 寫的 code」——是純 AI 生成、還是 AI 輔助?是從第一行程式碼到最後一行、還是只算部分檔案?這是產業級的數字膨風。
  • Faros AI +54% bugs per developer:這份報告的作者群主要是 DevOps 工具廠商 Faros 自己,有商業動機放大 AI 編碼的負面效應。數據方向大概沒錯(多份研究都指向同樣結論),但絕對數字要打折扣。
  • 「Models undergo step-change around fall 2025 / spring 2026」:HN 留言區 fishtoaster 直接質疑——Horthy 用 2025 年 7 月的實驗當作現代模型的代表樣本,會不會剛好過時了? 從 GPT-5、Claude Opus 4.5/4.8 開始,「持續可維護性」這件事是否其實有顯著進步?這是 HN 上最熱烈的反駁論點之一。
  • SWT-Marathon 與 Frontier Code 等新 benchmark:Horthy 提到 SWE-Marathon、DeepSWE、Frontier Code 是「第一批試著評可維護性而非只看 pass/fail」的 benchmark——但這些都還在早期,實證資料有限。

延伸資源:

網友熱門留言 (6)

#1 Hacker News 用戶 sathish316 0
我稱之為意圖-實作-品質問題。軟體工廠可以根據一行需求實作任何東西——無論是 app、史詩級功能、bug、refactor 都行。但這一行需求來自人類,使用者真正在意的是意圖能不能反映他們對產品該怎麼演進的想像。如果編碼只是數學、且只有一種把需求翻譯成實作的方式,問題會簡化到只剩下驗證生成的意圖;但實際上實作方式有指數級組合,而那條「對」的路對不同人、不同問題都不同。
#2 Hacker News 用戶 janalsncm 0
你要嘛需要理解你的 codebase 怎麼運作,要嘛不需要。Claude 可以幫你寫 code,但它沒辦法幫你『理解』。這件事必須以人類的速度發生。沒錯,有些場景你不用理解所有東西,但這是更細緻的問題。原文所有建議的前提都是:你必須懂你的程式碼。
#3 Hacker News 用戶 rglynn 0
對我來說,這整個現況最突出的一點是 PR review。理想上 PR 寫得漂亮、review 起來開心、反映你們討論過的決策。但說真的,我們能做的就那些。我很好奇最好的團隊到底怎麼做 code review——以我個人經驗,大部分程式設計師在 review 上都不及格,而這件事在 agent 時代被放大了。
#4 Hacker News 用戶 stillpointlab 0
很欣慰找到跟我有同樣真實體驗的人——這篇文章很多地方跟我自己的經歷吻合。讓我想到最近大家都在談的『品味』這件事。架構品質可能不是客觀對錯的問題,就像時尚不是對錯一樣——但有眼光的人一眼就能分辨。這是當前所有 benchmark 都無法評估的東西。
#5 Hacker News 用戶 orsenthil 0
我覺得很有趣的是,談論『黑暗軟體工廠』的人,竟然用 PR 數或 commit 數當作生產力單位。如果要走黑暗工廠這條路,那我們幹嘛不乾脆把程式碼單位叫做『一堆屎(bos, bunch of shit)』算了。
#6 Hacker News 用戶 fishtoaster 0
這篇有些好點子,但這一段讓我有點出戲:『2025 年 7 月我們試過完全黑暗工廠』。難道到現在不該廣為人知——模型在 2025 秋到 2026 春經歷了某種 step-change 的實用性提升嗎?我自己從那時候起就能開始把整個 repo 交給 agent…這篇文章的『智慧』會不會剛好是 2026 春天的版本,但模型已經走遠了?