編按：本文綜合整理自 Linux 核心維護者 Konstantin Ryabitsev 於 people.kernel.org 發表的第一手技術報告、Hacker News 相關技術討論串，並加入 Siami 編輯部觀點與分析。
Linux 基金會旗下負責 kernel.org 基礎設施的資深維護者 Konstantin Ryabitsev，在 8 月 29 日公布了一份罕見的「硬數據」報告，量化了 AI 爬蟲對開源基礎設施造成的實質負擔。他的結論相當刺眼：kernel.org 花在替爬蟲渲染 git commit 的 CPU 時間，比所有正當用途（包括 git clone）的總和還要多。
在橫跨五個地理節點、總計 90 個 CPU 核心的叢集中，任何時刻都有 14 到 16 個核心在做同一件事——把 git commit 轉成 HTML 餵給爬蟲。平均下來，這相當於整體運算容量的兩成被永久占用，而且爬蟲是成群結隊、波浪式湧入，實際負載曲線比 20% 的平線要尖銳得多。
為什麼 git.kernel.org 成為爬蟲的頭號目標
Linux 的開發過程全程公開，從可以隨意 clone 的 git 倉庫，到能即時追蹤的郵件討論存檔，全部攤在陽光下。對大型語言模型來說，這是一座金礦。
關鍵不只在於「免費取得」，而在於這批資料的純度。Ryabitsev 點出一個 AI 訓練圈公認的隱憂：拿 LLM 生成的內容去訓練 LLM，等同讓模型得到「數位普里昂蛋白病」（digital prion disease）——一種會讓模型能力逐代退化的自體中毒。因此，任何能保證「AI 世代之前」純人類產出的語料，價值等同黃金。而整部 Linux 核心的 commit 歷史，正是這種可驗證的乾淨語料。
問題不在於他們想要這批資料。問題在於他們拿資料的方式。
「最愚蠢的取得方式」：一千兆個網址
kernel.org 從一開始就把幾乎所有東西設計成可 clone 的。理由很單純——維護者自己也不確定這些機器能撐多久，所以歡迎任何人整份複製走，包括整個 LKML 郵件列表存檔，本質上也就是一堆 git repo。
按理說，一個自稱「人工智慧」的系統，會選擇最有效率的路徑：clone 倉庫、走訪每一個 commit、收工。
但實際發生的事情恰恰相反。爬蟲選擇了逐個 commit 請求 HTML 頁面、再回頭解析的做法。而這個選擇的代價，被 Ryabitsev 用數字攤開來：
- linux.git 目前約有 148 萬個 commit
- git.kernel.org 上另有約 922 個 linux.git 的分支複本（後端其實高度共用物件，成本極低）
- 但對爬蟲而言，這意味著數十億個「有效」網址，抓完只會得到同樣 148 萬個 commit 的 922 份重複複本
- 更糟的是，cgit 還開放請求 patch 檔、純文字渲染、任意兩個 commit 之間的 diff——組合起來，光是單一個 linux.git 分支就能生成上兆量級的合法網址
這套設計在網際網路還屬於人類、爬蟲還會乖乖讀 robots.txt 的年代完美無缺。放到 2026 年，它變成一場災難。
封鎖戰爭三部曲：從 User-Agent 到你家的電視
kernel.org 的防禦策略經歷了三個階段，每一階段都被對手升級破解。
第一階段：看 User-Agent 封。 早期爬蟲很貼心地在 User-Agent 裡自報家門，翻日誌、fail2ban 就解決。然後它們學乖了，開始偽裝成一般瀏覽器。
第二階段：封 IP 與 ASN。 一個 IP 如果正在把某個八年前廢棄的 linux 分支裡每一個 commit 都抓一遍，它顯然不是「一位在 Windows 上用 Chrome、瘋狂點擊每個連結的孤獨使用者」。當爬蟲擴散到整段子網，直接封整個 ASN 也站得住腳——來自 Google Compute 的 IP 自稱是 Firefox 使用者，這件事本身就說明了一切。
第三階段：住宅代理海嘯。 情況在這裡真正惡化。爬蟲開始從數以百萬計的隨機住宅與行動網路 IP 湧入，每個都偽裝成主流瀏覽器，發出四五個請求後便永遠消失。等你辨識出它是機器人，它早已抓完離開，封鎖只會讓防火牆規則表無謂膨脹。
Ryabitsev 對這個現象的形容是：「它們像蝗蟲群一樣壓境，又快又猛地打到系統倒下，然後轉向下一個目標，等你恢復了再回頭。周而復始。」
而這些住宅 IP 從哪來？答案是近年高速成長的「代理 SDK 變現」產業——App 開發者在軟體裡埋入 SDK，把使用者的網路頻寬轉賣給代理商。Ryabitsev 直言：你家的電視很可能正在做這件事。
連工作量證明都被攻破了
大約一年前，kernel.org 押注在一個經濟學解法上：讓爬蟲付出代價。他們在所有服務前面架設了 Anubis——一套要求瀏覽器先算出雜湊值（例如找出某個字串，與來源 IP 及伺服器密鑰組合後 sha256 前綴要有 4 個零）才放行的工作量證明閘道。
初期效果好得驚人。爬蟲直接放棄，轉向更好抓的目標；使用者雖然「有點被煩到」但可以忍受；整套系統也容易部署。那是幾個月的太平日子。
然後爬蟲回來了，而且開始解出難度 4。
kernel.org 把難度調到 5。這下正常使用者也開始不爽了——難度 5 在手機上要算好幾秒，機器還會發燙。但它有效，又換來幾個月安寧。
接著，爬蟲連難度 5 也解開了。
這是整篇報告最值得警惕的一段：對方願意燒掉大量運算資源來解 Anubis 挑戰，只為了取得這批資料。換句話說，工作量證明作為防線的經濟假設已經崩塌——當資料的訓練價值高到一定程度，讓對手「付出代價」根本嚇不走他們。
數據解讀：2% 這個數字意味著什麼
目前 git.kernel.org 每天收到約 600 萬次索取隨機 commit 的請求。其中：
- 66% 在 Anubis 關卡就被擋下
- 33% 解出了工作量證明、成功進入主站
- 套用一系列相當寬容的假設後，真正的正當請求只占全站流量約 2%
這個 2% 值得停下來想一想。它的意思是，kernel.org 這套為全球 Linux 開發者社群服務的公共基礎設施，有 98% 的運轉是在服務不會回饋任何東西的自動化抓取。而養這套機器的電費、頻寬費、維運人力，全由 Linux 基金會與捐助者買單。
同時值得注意的是 Ryabitsev 的誠實之處：他明白指出，真正把系統打趴的通常不是爬蟲，而是設計拙劣的 CI 系統——例如同時從 20 個節點對 stable.git 做 shallow clone。（他對此的評語是：「淺層 clone 很糟糕。你要幹這種缺德事，就自己架個鏡像站。」）爬蟲造成的不是崩潰，而是一種持續存在的「背景輻射」式負載，永久侵蝕掉一塊本該屬於社群的容量。
質疑：技術社群的兩派攻防
這篇報告在 Hacker News 上引發近 60 則討論，技術社群的反應並不是一面倒同情，值得一併呈現。
「為什麼不加快取？」 這是最多人提出的質疑。cgit 自稱是「超高速 git 網頁前端」，而 git 內容對絕大多數歷史 commit 而言基本上是靜態的，前面架個 Varnish 應該能大幅削減負載。
反方的回應更有說服力：cgit 是老派的伺服器端渲染器，可生成的頁面存在組合爆炸——原文估算光單一分支就有上兆量級的網址空間。快取的前提是熱點集中，但爬蟲的行為模式恰恰是均勻掃遍整個網址空間，這正是快取命中率的天敵。也有人指出實際資料總量其實只有數 GB 級，理論上該有針對這種確定性場景的最佳化路徑（例如編譯式串流渲染器），只是沒人有動機投入。
「AI 這麼聰明，爬蟲怎麼這麼笨？」 這個嘲諷被討論串中的 kalkin 反駁得相當精準：這些爬蟲根本沒有在對抓回的頁面跑 AI 推論。如果預訓練規模的資料每一頁都要跑一次推論，成本會直接翻倍。爬蟲是笨的，因為在爬取端花錢做智慧判斷，遠比讓別人的伺服器多轉幾圈要貴——成本被成功外部化到 kernel.org 身上，這不是技術缺陷，而是理性選擇。
這才是問題的核心：不是 AI 公司不夠聰明，而是他們沒有任何誘因變聰明。
為什麼這件事重要
這件事的重要性遠遠超出一個網站的運維瑣事，理由有三。
第一，這是開放網路「公地悲劇」的實測數據。 過去兩年關於 AI 爬蟲的爭論多半停留在軼事層次——某某網站流量暴增、某某站長抱怨頻寬爆表。Ryabitsev 這份報告的價值在於它來自一個沒有商業動機、技術能力頂尖、且被全球開發者信任的來源，並且給出可驗證的數字：90 核中的 14-16 核、每日 600 萬次請求、2% 的合法流量比。這種等級的一手數據，往後將成為所有相關政策討論的參考基準。
第二，工作量證明防線的破防是個轉捩點。 Anubis 過去一年被大量開源專案採用，被視為對抗 AI 爬蟲最務實的解方。kernel.org 的經驗證明，當資料價值夠高，單純提高成本無法阻止對手，只會同步懲罰真實使用者——難度 5 對爬蟲農場只是電費，對用舊手機的開發者卻是實實在在的等待與發燙。防禦方在這場軍備競賽中處於結構性劣勢：他們必須同時擋住機器人並放行人類，而攻擊方只需要看起來像人類。
第三，也是最實際的衝擊：開放性正在被迫收縮。 Ryabitsev 明確預告了後續動作——「我們正在關閉部分功能，減少可被爬取的網址數量，並對執行成本高昂的操作設下閘門。請預期會失去一些功能，至少在匿名存取時是如此。」
這句話值得每一個依賴開源基礎設施的人認真對待。過去二十年開源社群「預設全開、隨你取用」的文化，正在被 AI 訓練需求逼著轉向「預設設防」。 這不是某個維護者心胸狹窄，而是算力帳單逼出來的結構性轉變。當 kernel.org 這種等級的機構都得開始關閉功能，中小型開源專案的處境只會更艱難——它們沒有五個地理節點和 90 個核心可以燒。
Ryabitsev 在文末仍然守住了底線：「我們承諾仍會提供所有資料給任何提出要求的人下載，你只是可能得多跳幾個圈圈。」
「最糟的是，這個問題沒有簡單的解法。提供客製化『AI』模型的公司每天都還在冒出來，全都飢渴地尋找訓練資料。App 開發商還在想辦法變現，所以他們會繼續把你的家電變成攻擊載體。」 —— Konstantin Ryabitsev
延伸閱讀與資料來源
- 原始報告：Creepy Crawlies — Konstantin Ryabitsev, people.kernel.org（2026-08-29）
- 技術討論串：Hacker News #49491791（193 分、59 則討論）
- 工作量證明閘道：Anubis — TecharoHQ
- 受影響服務：git.kernel.org、lore.kernel.org
- Siami 相關報導：你客廳那台智慧電視，正在替 AI 爬蟲當跳板（代理 SDK 變現產業鏈解析）
網友熱門留言 (5)