← 返回 Siami 首頁

Cloudflare 給網站主三把新鑰匙:Search、Agent、Training 三類 AI 流量分流,9 月 15 日預設改寫

▲ 61 💬 132
Cloudflare 給網站主三把新鑰匙:Search、Agent、Training 三類 AI 流量分流,9 月 15 日預設改寫

Cloudflare 在 7 月 1 日的「第二屆內容獨立日」(Content Independence Day) 拋出震撼彈:把 AI 流量拆成 Search、Agent、Training 三類,讓網站主從「只能一鍵全封」進化到「細顆粒度分流」,9 月 15 日起預設封鎖 Training 與 Agent 爬蟲(但 Search 仍放行)。

編按:本文綜合整理自 Cloudflare 官方部落格、Cloudflare 一週年報告、TechCrunch 報導 及 Hacker News 討論串,並加入 Siami 編輯部觀點與分析。


Cloudflare 把 AI 流量拆成三類,新預設 9 月生效

Cloudflare 把原本籠統的「AI bot」一口氣拆成三種行為:

  • Search:為了建立索引以回答問題而爬資料,傳統搜尋引擎的核心用途,站長期望得到回訪流量或等價補償。

  • Agent:代表某個使用者即時完成任務的代理,包括 ChatGPT-User 這類 chat fetch bot 與 Gemini、Claude 操控 Chrome 的瀏覽器代理。

  • Training:把資料永久吸收進模型架構以改進 AI 能力的爬蟲。對新加入 Cloudflare 的網域與有廣告的頁面,9 月 15 日起預設行為是:

  • Training 與 Agent → 預設封鎖

  • Search → 預設放行「廣告頁」是關鍵指標——代表站長預期真實人類讀者會看到並點擊的內容,AI 爬蟲擋在這層之外被視為理所當然。


真正的震撼彈:Googlebot 將被連帶封鎖

Simon Willison 在 Hacker News 上第一個指出這件事:多用途爬蟲(如 Googlebot、Applebot、BingBot)會因為同時掛了 Search 與 Training 兩個用途,被「套用最嚴格的規則」——也就是說,當站長選擇封鎖 Training,這些主流搜尋引擎爬蟲也會一起被擋。

「Googlebot 從 9 月 15 日起會被『Block Training』政策擋下,因為 Google 拿同一個爬蟲基礎設施同時跑搜尋索引和訓練 Gemini。」——Simon Willison,Hacker News

Google 並未把搜尋與訓練爬蟲分開。Cloudflare 在一年後報告中點名:

「Google 透過混合用途爬蟲,讓客戶無法參與 Google 搜尋生態系而不同時參與 Google AI 生態系——Google 比其他領先 AI 公司多拿到大約 2 倍的資料。」這直接把 Google 的搜尋壟斷與 AI 訓練的界線模糊問題攤在陽光下。站長現在被迫二選一:保留 Google 搜尋曝光,就等於默許 Gemini 來爬訓練資料;想擋 Gemini,就連 Google 搜尋一起不見。


一年後的市場:52% 爬蟲都在做 AI 訓練

Cloudflare 同日發布的「內容獨立日一週年」報告,揭露了 AI 爬蟲的真實結構:

  • 52% 的爬蟲請求是用於 AI 訓練(2026 年 6 月數據),對比 2025 年春季僅 22%

  • 36% 是混合用途爬蟲(搜尋+訓練+代理混搭)

  • 純搜尋爬蟲的比例持續下滑,但仍是出版商能見度的重要命脈更宏觀的數字是:

  • 短短 3.5 年內,全球 30% 人口(約 25 億活躍用戶)已成為生成式 AI 的常規使用者

  • 網路流量史上首次有過半(>50%)來自非人類(機器人 + AI agent)

  • 使用者每花 1 小時搜尋資訊,只有 15 分鐘停留在開放網頁上

  • 重災產業(新聞、零售、軟體、IT、金融)的人類流量在不到一年內下跌達 40%

出版商開始用「Google Zero」這個詞——一個來自搜尋引薦流量幾近歸零的世界。


新的付費機制:Pay-Per-Crawl 與驗證標籤

Cloudflare 同步推出三項配套機制:

BotBase 資料庫這是 Cloudflare 對所有「已驗證」爬蟲與代理的集中目錄,企業客戶可以查到每個 bot 的分類、內容用途(從 immediate「看完不留」、reference「引用並回連」、到 full「摘要並重製」),也能直接複製 detection ID 寫進 Security Rules。

「Verified」標籤的新定義過去「已驗證」等同於預設放行,現在改為「在站長開放的分類裡可放行」——非驗證 bot 仍預設封鎖,但即使是 OpenAI、Anthropic 這些大廠,要拿到 Verified 標籤也得乖乖申報。

Transitive Trust 機制當 bot 透過 Cloudflare Developer Platform 等中介層呼叫時,新增 Forwarded: for="openai" 與 Forwarded: for="openai";use="reference" 標頭,讓站長的「允許」設定能跨中間層生效。失去「信任」會直接從 20% 全球網域失去放行資格。


業界與社群反應

Cloudflare 的新政策在 Hacker News 上激起 132 則討論,爭議點分三類:

「The big news here is that Googlebot will be blocked from September 15th onwards…因為 Google 用同一個 crawler 基礎設施跑搜尋索引和訓練 Gemini。」——Simon Willison,HN 點讚最高留言

「It’s kind of exhausting seeing Cloudflare playing both sides of the arms race. 我很難想像還會想用他們的技術來蓋 agent 或 AI 產品。」——tekacs,HN 用戶

「I find it unsettling that we are willingly outsourcing the decision on who can access our sites to an increasingly dominant corporate entity.」——jwr,HN 用戶

「So is it possible to say ‘No bots except Google, OpenAI, Grok, Claude and Perplexity’? 截至目前只有 Google 在幫我帶流量。」——TekMol,HN 用戶

「So, in summary: still the honors system. Got it. thanks.」——ray_v,HN 用戶(對 robots.txt 自願性標準的質疑)業界也有正面聲音。Adweek、The Decoder、eWeek、NBC News 等媒體在當週密集報導 TechCrunch 的獨家,確認 Cloudflare 給了 AI 公司兩個半月時間把搜尋與訓練爬蟲分清楚,否則一律視同 Training 處理。Cloudflare 自家數字顯示,自 2023 年以來已有 50 件以上 publisher-AI 授權協議簽署。


🚨 為什麼這件事重要這不只是「Cloudflare 加新功能」,而是網際網路商業模式 30 年來最劇烈的規則改寫。過去的鐵律是「我給你搜尋可見度、你給我引薦流量」——這條交易鏈正在被 AI 答案引擎直接截斷。對中文出版環境的衝擊尤其值得關注:

  • 大型繁體中文網站(新聞媒體、論壇、B2B 內容站)正好是混合用途爬蟲的重災戶——很多站長根本不知道 Googlebot 同時在為 Gemini 訓練。
  • 台灣與香港的內容農場和小型部落客過去靠 Google 搜尋導流,未來要嘛接受 Gemini 順便爬走、要嘛被 AI 摘要擠出搜尋結果頁。
  • 繁中 AI 模型訓練目前高度依賴開源語料,未來 Cloudflare 9 月政策上路後,能繁中可用的新訓練資料來源會縮水。
  • 對獨立開發者而言,「Forwarded for=“openai”」這類 transitive trust 機制會大幅改變部署在 Cloudflare Workers / Developer Platform 上的 agent 應用生態。更根本的問題是:**誰該決定 AI 與內容的價值交換?**Cloudflare 把球丟回 Google:你若想要搜尋流量,就繼續把訓練爬蟲也一起放進來;要拆開,可以,但搜尋可見度會受影響。這對所有「搜尋→AI」雙軌收費的大廠(包括 Perplexity、Anthropic 也都有混合 bot)形成壓力。

🚨 數據解讀與質疑

1. 52% 爬蟲都在訓練,這數字合理嗎?

Cloudflare 看到的可能是「自我宣告意圖」的爬蟲分佈,但現實中很多 AI 公司會刻意讓自家爬蟲假冒 Googlebot 或偽裝 User-Agent,Cloudflare 自家報告承認「仍有超過 1/3 的爬蟲活動來自混合用途 bot 讓人意圖模糊」。真正的訓練請求比例,可能比 52% 還高。

2. 「預設封鎖」真的是保護小站嗎?

TekMol 的留言點出問題:小站本來就只能靠 Google 搜尋曝光,現在擋 Training = 連 Google 搜尋一起擋掉,等於自願放棄最後的曝光管道。Cloudflare 把決策外包給大型企業(自己),小站只能跟進——這與當年 Google 用「noindex 換取更好搜尋權重」的軟性脅迫如出一轍。

3. Pay-Per-Crawl 一年過去了,真的有人付錢嗎?

Cloudflare 的「request access」按鈕一按就是一年,沒人回信——zzzeek 在 HN 上的留言點出市場機制的冷啟動問題:沒有最低流量保證,AI 公司沒動機付費;沒有付費案例,出版商沒信心開放。一年後的「50 件 publisher-AI 授權協議」其實是繞過 Cloudflare 平台直接簽的,並不能證明 Pay-Per-Crawl 機制本身有效。

4. Google 會就範嗎?

Google 把訓練與搜尋拆開,技術上完全可行(GPTBot 與 ChatGPT-User 就是兩個 user agent)。但商業上會損失巨大——Gemini 的訓練資料品質會下降,AI Overview 的競爭力會被削弱。最可能的劇本是 Google 推出「Googlebot-Search」與「Googlebot-AI」兩個分離 bot,但保留兩者之間的某種關聯性,讓 Cloudflare 的「最嚴格規則套用」邏輯失效。這場博弈 9 月 15 日才剛開始。


對讀者該關心的後續

  • 9 月 15 日:所有 Cloudflare 上的新網域預設改為封鎖 Training + Agent,廣告頁尤其。
  • 2026 年底前:Cloudflare 目標把「混合用途爬蟲比例」壓到接近 0——這會逼 OpenAI、Anthropic、Google、Perplexity 全部拆 bot。
  • 2027 年觀察重點:付費內容授權市場是否能突破「50 件天花板」進入主流;如果 Pay-Per-Crawl 仍冷啟動失敗,Cloudflare 可能被迫轉型成「內容授權交易所」而不是技術平台。對所有依賴搜尋流量的中文網站與部落客,建議在 8 月底前先到 Cloudflare Dashboard 把 Training 與 Agent 的預設改成「allow」,並透過 robots.txt 的 use=reference 信號宣告自己的內容使用偏好——等 Google 與 AI 廠商開始談判時,握有「明確聲明」的站長才有議價籌碼。

網友熱門留言 (7)

#1 simonw 0
The big news here is that Googlebot will be blocked from September 15th onwards by one the "block training" policies, because Google use the same crawler infrastructure for their search index AND for training Gemini: > Another change that will apply on September 15 is that multi-purpose crawlers (specifically those that combine Search with Training) will be allowed/blocked according to all of their behaviors, in line with our call for transparency for website owners. Since the defaults will be enforced by the most restrictive applicable rules, multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training (either through the new options to manage AI traffic, or through the legacy Block AI bots service).
#2 tekacs 0
> For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads, while Search will remain allowed by default. It's kind of exhausting seeing Cloudflare playing both sides of the arms race. I just can't imagine bringing myself to use their technology to build agents and build AI products when they're also doing things like this. > This also lines up the incentive model we want to foster. Losing trusted status across the more than 20% of web domains that sit behind Cloudflare is a deterrent with teeth. Trust becomes something you can carry with you, and something you can lose. And even more so, LLM language aside, fun and fascinating to see them flagrantly calling out their position here as if it's a po
#3 jwr 0
I find it unsettling that we are willingly outsourcing the decision on who can access our sites to an increasingly dominant corporate entity. The reasoning behind this is also flawed: blocking "bots" and "AI" means that *our* AI agents working for *us* are unable to do their work for *us*, because of knee-jerk bot-blocks.
#4 TekMol 0
So is it possible to say "No bots except Google, OpenAI, Grok, Claude and Perplexity"? As far as I can tell, Google is the only one sending me visitors. And the other big AI players might do so in the future. Another option would be "No anonymous bots". So at least if a bot would want to crawl my site, they would have to identify themselves. Since the rise of the AI bots, I am getting hurt badly with insane amounts of requests from residential IPs that mimic real humans. The only difference being they don't make me any money. Only produce costs. By the way, how is the situation over at Amazon's Cloudfront? Do they offer something that helps? Anyone here with them?
#5 ray_v 0
So, in summary: still the honors system. Got it. thanks.
#6 leros 0
Is anyone using something like this? I'm skeptical of scrapers paying and, if paying, paying enough to make it worthwhile.
#7 timpera 0
Blocking bots should not be the default behavior, it should be opt-in. Is Cloudflare trying to play both sides in order to secure a fee on every pay-to-crawl in the future?