← 返回 Siami 首頁

Roblox 被抓到爬走 145.5 GB 3D 模型:爬蟲自稱「3D 基礎模型研究」,無視 robots.txt 抓走 712 個專案、其中 62.6 GB 是成人內容

▲ 426 💬 246
Roblox 被抓到爬走 145.5 GB 3D 模型:爬蟲自稱「3D 基礎模型研究」,無視 robots.txt 抓走 712 個專案、其中 62.6 GB 是成人內容

編按:本文綜合整理自 Open3DLab 官方聲明〈Roblox downloaded 145 GB of models from our sites (including adult content) without asking〉、Roblox Cube 論文〈Cube: A Roblox View of 3D Intelligence〉(arXiv:2503.15475)、Roblox 官方新聞稿〈Accelerating Creation, Powered by Roblox’s Cube Foundation Model〉、微軟 TRELLIS.2 官方仓库、Tom’s Hardware 報導、Startup Fortune 報導、Hacker News 討論串(426 分、246 則回覆) 與 Reddit r/gaming 討論串,並加入 Siami 編輯部觀點與分析。

2026 年 10 月 26 日,三個 3D 模型共享網站的經營者 Salaryman 在自己的部落格上貼出一份帶有伺服器日誌的一手調查。標題很直白:一個自稱屬於 Roblox 的爬蟲,在 10 月 15 與 16 日兩天之內,從 Open3DLab、SFMLab 與 SmutBase 完整下載了 1,027 個檔案、總計 145.5 GB。

被爬走的檔案中,有 62.6 GB 是成人內容。而這些內容,在 Roblox 平台上可能會被數千萬名十三歲以下的使用者接觸。

這件事之所以值得單獨寫一篇,不只是因為數字大得驚人,而是因為它把 AI 產業裡三個長期被迴避的問題,同時攤在同一張桌子上:訓練資料從哪來、誰付錢、有没有人負責。


事件本身:從 user agent 開始的三天

整起事件的關鍵線索藏在一個技術細節裡:爬蟲送出的 user agent 字串。

trellis2-data-sourcing/1.0
(3D foundation model research; [已遮蔽]@roblox.com)

三個資訊一次到位:專案代號「trellis2」、用途自述「3D 基礎模型研究」、以及一個 Roblox 員工的工作信箱。站方刻意把信箱中的姓名遮蔽,並在文末特別說明:「這篇文章談的是那個 Roblox 爬蟲做了什麼,不是針對某一個人。」

爬蟲的行為輪廓

Salaryman 在自家伺服器日誌中重建出的時間線相當完整:

  • 10 月 15 至 16 日:主動抓取期。34 小時內發出 26,429 次請求,讀取 18,926 個專案的主頁——幾乎是整個目錄。
  • 接著:完整下載 712 個專案中的 1,027 個檔案,總計 145.5 GB。
  • 10 月 18 日(週日):站方發現大量請求,當天上午即封鎖。此時爬蟲已自行暫停。
  • 10 月 19 日:爬蟲恢復活動,全部被阻擋。
  • 10 月 20 日 8:00:最後一次回歸,請求量自中午起逐漸遞減,約 15:00 完全停止。

站方對此行為模式的解讀是:「請求看起來完全符合辦公時間,只在午餐時間短暫中斷一小時,並在接近下班(中歐時間)時結束。」

10 月 19 日與 20 日的行為,是這份調查裡最關鍵的一段。 站方明說:爬蟲在被全面封鎖之後「並沒有減少下載嘗試」。10 月 20 日那次回歸,請求量從中午開始緩慢遞減,「很可能是在測試我們的速率限制」。

三個站點、三種內容

站點性質被下載內容
Open3DLab通用 3D 素材(2020 年成立)佔多數
SFMLabSource Filmmaker 專用模型(2014 年成立)含部分成人標示
SmutBase純成人內容(2016 年成立)364 檔、54.8 GB、224 個專案

合計 345 個成人內容專案、62.6 GB,佔 145.5 GB 的下載量近一半。站方特別指出:爬蟲抓取成人與非成人專案的比例完全一致,「在我們取樣的範圍內,它對成人專案和其他一切採取完全相同的速率」。

另外有 423 個專案(總計 712 個)只授權非商業使用。

三道紅線

站方逐條列舉了爬蟲踩過的界線:

  • robots.txt:爬蟲有抓取,但沒有遵守
  • 服務條款:明文禁止抓取,爬蟲無視
  • 創作者授權:423 個專案標示僅限非商業使用,爬蟲照抓

而下載速度方面,站方說了一句很關鍵的話:「限制下載量的唯一因素,是爬蟲依賴我們免費下載伺服器的速率與併發上限。」

換句話說,這不是一場精密協調的攻擊,而是一場根本沒打算被擋下來的抓取——因為按robots.txt 走本來就不在它的選項裡。


為什麼這件事重要

第一,這是「訓練資料從哪來」這個問題第一次被具體到檔案層級。 過去兩年關於 AI 資料來源的爭論,絕大多數停留在「他們爬了整個網路」這種量級的描述。而這一次,有明確的 user agent、明確的時間戳、明確的檔案數量、明確的授權清單,以及站方願意交出完整日誌供第三方稽核。Roblox 若要否認,必須解釋 user agent 裡那個員工信箱與「3D foundation model research」字樣為何會出現在一隻爬蟲上。

第二,成人內容的比例,讓這件事從「資料集品質問題」升級成「風險治理問題」。 站方自己說得很克制:「我們不認為 Roblox 是刻意要收集成人內容,也沒有任何證據顯示它進到了模型或產品裡。抓取很可能是全自動化的。但那正是問題所在:就我們的日誌來看,沒有人檢查過。」

這段話的重量在於,它描述的不是一個技術故障,而是一個流程缺陷:一支為數千萬名兒童服務的平台的爬蟲,被指向了一個成人內容站,然後它照抓不誤,中間沒有任何人在中途喊停。

第三,這是 AI 版權論戰裡少數「有具體受傷者」的一集。 Meta 下載 81.7 TB 影子文庫書籍、Nvidia 聯絡 Anna’s Archive、Anthropic 買了整座影子文庫——這些案例的爭議焦點是「合理使用」這個抽象法律概念。而這一次,被拿走的是幾百位業餘 3D 藝術家放在公開網站上、明確標示授權條件的作品,其中 345 個成人內容專案還牽涉到一群明確表態「我們的社群只供成年人使用」的經營者。

第四,也是最實際的一點:這種規模的抓取,對小型社群站是直接的成本負擔。 HN 網友 tarsierscripter 的觀察相當精準:

「真正的重點是:這麼多人下載,會把你的伺服器連線塞滿、CPU 或磁碟直接打滿。我們以前管這叫阻斷服務攻擊,現在它顯然只是做生意的成本罷了,連只是想經營非營業性質愛好網站的人都要承受。」

站方自己也承認,這次抓取讓免費下載伺服器的連線飽和了大約兩天,「造成我們合法真人使用者的問題」。


數據解讀:把「已證實」與「推論」分開

這份聲明有一件事做得比多數同類文章好:它自己把每一層證據的可信度標了出來。Startup Fortune 的整理把這部分切得很乾淨,值得完整引用。以下是 Siami 編輯部重新整理後的證據分級:

已經可以確定的事實

  1. 一個帶有 trellis2-data-sourcing/1.0 user agent、內含 Roblox 員工信箱的爬蟲,在 10 月 15 至 16 日抓取了這三個站點。
  2. 它讀取了 robots.txt 卻沒有遵守。
  3. 它下載了 1,027 個檔案、145.5 GB,跨越 712 個專案,其中 345 個是成人內容專案。
  4. 它在被封鎖後仍持續嘗試。
  5. Roblox 收到兩封電郵,至今未回覆。

站方自己標記為「推測」的部分

站方在文章中專門開了一節標題為「Speculation」,並寫明:「本節包含我們基於公開資訊與日誌觀察所做的推測與假設。」

  • 用途:站方認為最可能的解釋是「為 Roblox 的 3D 基礎模型工作收集訓練或評估資料」,但明說無法證明,也不知道是否有創作者的檔案進入了模型。
  • 責任歸屬:站方明確寫道,「我們不認為這位研究者是自行其是或超出其職務範圍行動。這種資料收集批次是公司的決策,責任在 Roblox。」
  • trellis2 的含義:站方指出可能指涉微軟 2025 年底發布的開源 3D 生成模型 TRELLIS.2(4B 參數的 image-to-3D 模型),但也可能是專案代號。他們查過 TRELLIS.2 公開的資料工具包,裡面沒有任何網路爬蟲,也沒有任何 user agent,所以「這個爬蟲和它的標籤是專為這份工作寫的」。
  • 身份認定:站方說明,「任何人都可以在 user agent 裡輸入任何信箱地址,而且爬蟲是從亞馬遜的雲端、而不是 Roblox 自己的網路跑出來的。我們所看到的沒有任何跡象指向冒用,而且這個標籤與 Roblox 已發表的研究高度吻合。但這終究是自我描述,這也是我們最先希望 Roblox 確認的一件事。」

那為什麼站方敢說「最可能是給 Cube 用的」?

因為 Roblox 自己的論文寫得非常清楚。〈Cube: A Roblox View of 3D Intelligence〉(arXiv:2503.15475,2025 年 3 月 19 日首次提交,Foundation AI Team Roblox,Kiran Bhat 等 46 位作者)對 3D 基礎模型的資料需求描述得毫不含糊:

第一個 shape 模型訓練於約 150 萬個 3D 資產,來源包括 Objaverse 等授權與公開資料集,以及 Roblox 自家 Creator Store 中選擇加入的免費素材。

而 Roblox 官方新聞稿(2026 年 2 月 4 日,Anupam Singh 撰文)進一步說明,Cube 模型的下一階段是「4D generation」,用 schemas 把物件拆解成部件並賦予行為,最終讓創作者用自然語言 prompt 生成完整場景——包含素材、環境、程式碼與動畫。

150 萬個 3D 資產、一個要吃完整角色與綁定資料的 3D 基礎模型、而公開資料集裡恰好最缺的就是這些——這就是站方做出推論的依據。站方自己的措辭是:「我們的網站裡充滿了 3D 模型生成系統需要的東西,而公開資料集相對缺乏這些:完整的、有貼圖的角色,很多還帶有綁定,用的是藝術家實際工作的格式,每一個都帶有標題、描述與預覽圖。」

一個必須誠實面對的反向數據

站方也主動列出了不利於自己的事實,這是這份聲明少見的誠實之處:

  • 在發現 trellis2 爬蟲的前一個月裡,Meta 的爬蟲 Meta-ExternalAgent 對這些網站發出了約 38 萬次請求,幾乎全部來自 Meta 自己的網路,載入了 21.1 萬個專案頁。站方之後也把 Meta 封鎖了。換句話說,被抓的不只 Roblox。
  • 這些站上的很多模型本身就是侵權物。HN 網友 ang_cire 說得很直白:「其中大量(正如站方自己承認的)模型本身就在侵犯版權,因此任何建立在版權Ownership上的授權都是無效的。你無法對一個自己從遊戲裡偷來的 3D 模型執行授權。」

這一點很重要,因為它把 Roblox 的行為放回了相對位置——它不是唯一 offender,也不是最嚴重的一個。它只是最新一個被記錄下來的。


質疑:這份指控有沒有誇大?

如果只照抄 Open3DLab 的版本,這篇就會變成另一篇標題農場。以下是必須一起放進來的反面。

質疑一:法律上,「下載」不等於「違反授權」。 HN 網友 semiquaver 的論點是技術性的,但很關鍵:

「完全沒有任何跡象顯示授權條款被違反。從免費存取伺服器下載一個檔案,在法律上不可能構成違反授權條款。害怕某件事會發生,跟某件事已經發生,是兩回事。」

Startup Fortune 的獨立整理也說了同樣的話:「訓練模型是否構成商業使用,是各國法院與監管機關仍在處理中的問題,所以經營者把它框定為授權違規,這是他們的立場,不是已確定的結論。」換句話說,「423 個專案非商業授權被違反」目前是主張,不是認定。

質疑二:「這是個人行為,不是公司決策」的說法其實有反證。 HN 網友 happyopossum 從時間軸推論是個人行為:「這比較像是某個人的筆電在跑:週末關機就停、午餐時間也停。」但站方的反駁其實更有力:爬蟲在 10 月 19 日被完全封鎖後並未停止嘗試,10 月 20 日還回來測試速率限制。個人臨時起意的抓取,通常不會在被擋之後還回來測試防線。而且 user agent 裡帶著一個真實員工信箱與「3D foundation model research」的研究用途標註——這比較像是一項有配置、有目的的資料採集作業。

質疑三:把焦點放在成人內容上,可能反而模糊了真正的問題。 HN 網友 KolmogorovComp 提出一個技術反駁:

「我同情 open3dlab,但我認為把焦點放在成人內容上,只是想用低成本激起輿論。已經一次又一次證明過,從訓練來源中移除成人內容(至少對擴散模型而言),會讓輸出品質整體下降,而且是在成人內容之外的面向也一樣,特別是在表現人體方面。」

paxy 的說法更直接:「用零證據去暗示『Roblox 下載成人內容是為了給小孩看!!!』來操作憤怒,這種手法很可悲。」

這條反駁其實站得住。 事實上,站方自己在文中就把成人內容議題從「技術指控」轉成了「治理指控」——他們的論點從來不是「你不該下載成人內容」,而是「沒有任何人在中途做過篩選,這才是問題」。這個轉向是合理的,而且比「Roblox 在蒐集 A 片」的說法更難反駁。

質疑四:整件事可能是既定的產業常態。 HN 網友 caaqil 的態度最為極端:

「誰真的在乎?AI 革命的整個前提不就是我們吞噬別人的資料來達成 AGI 嗎?我本來以為我們已經接受了這個代價,由 OAI 這些人帶頭。」

origini 的說法更直接:「open3dlab 應該把時間與精力花在起訴他們、把這件事解決掉,一篇部落格文章基本上等於零資訊量。」

這是產業現實最真實的反映:當 Meta 的 81.7 TB、Nvidia 找上影子文庫、Anthropic 的 15 億美元和解都已經發生過,一家小型 3D 社群的維權確實看起來像大炮打蚊子。

質疑五:「要求道歉」在實務上難以落實。 Open3DLab 自己在文末列了七個要問 Roblox 的問題(以下為翻譯,措辭依原文保留問句形式):

  1. Roblox 是否執行了 trellis2-data-sourcing 這個爬蟲?
  2. 這些資料是做什麼用的?
  3. 有沒有任何一點被用來訓練或評估模型?如果有,是哪一個?
  4. 爬蟲為什麼無視該站的 robots.txt 規則與服務條款?
  5. 有沒有人檢查過爬蟲會造訪哪些網站?
  6. 成人內容在任何階段被排除過嗎?
  7. Roblox 會刪除這些檔案與一切衍生物,並以書面確認嗎?

這七個問題寫得非常專業——每一個都是可驗證的、可辯護的。但也正因如此,它們全都只能由 Roblox 回答,而 Roblox 至今沒有公開回應任何一則。


3D 社群與 AI 從業者的實務教訓

如果要把這件事轉成可以執行的工作,離開口水攻防,大致是這樣:

對 3D 網站經營者:

  1. 把 robots.txt 當成請求,不是鎖頭。 它對願意遵守的爬蟲有效,但對不遵守的毫無作用。真正有效的是:依 user agent 封鎖、速率限制、以及對大型下載設存取控制。 Startup Fortune 整理的三點實務建議完全正確,其中最重要的是第一點——讀自己的日誌,看有沒有陌生的 user agent。站方是靠「爬蟲的名字與行為模式」發現的,不是靠任何告警。
  2. 把授權寫在爬蟲看得見的地方。 站方有禁止抓取的服務條款、有逐專案的授權標示,這在日後追責時是寶貴的證據——即使它擋不住任何一次下載。
  3. 保留完整日誌並公開承諾交由第三方稽核。 站方明說「我們保留了相關日誌檔案的完整匯出檔,以備外部稽核之需」。這是讓「你們在編故事」這種質疑失效的唯一方法。

對 AI 訓練資料從業者:

  1. 在資料採集流程裡放一道人工或規則閘門。 站方的指控核心不是「Roblox 爬了成人站」,而是「沒有任何人檢查過」。一個成本極低、卻能擋掉幾乎所有爭議的機制,就是在下載前對來源分級。
  2. Roblox 這次的 user agent 是一次難得的反面教材。 誠實標示自己是誰的爬蟲,反而讓善意的一方可以直接發問。這是一個非常划算的取捨:匿名抓取省下的法遵成本,遠低於被抓到後的聲譽成本。

對 3D 創作者:

  1. 「CC-BY-ND-NC」在 AI 訓練語境下的效力,遠低於直覺。 ND(禁止改作)在 AI 訓練裡基本上失效,因為模型輸出的東西不會保留你原檔的形態。HN 網友 whizzter 的判斷是:「AI 訓練本質上就是衍生作品,而 Roblox 若用在營利產品上,實務上不可能不算商業用途。」如果你不想作品被拿去訓練,就不能靠標籤,得靠不上架。

延伸閱讀

網友熱門留言 (8)

#1 Hacker News 網友 whizzter 0
這是一個社群網站,我隨手點的第一個模型(Tanya by Shrimport)標的是 CC-BY-ND-NC 授權(創用CC:署名、禁止改作、非商業)。AI 訓練本質上就是衍生作品,而 Roblox 若用在營利產品上,實務上不可能不算商業用途。這正是 AI 讓人火大的一大原因——我們要有那種社群,讓大家可以彼此分享 3D 模型,而不會變成商業公司的免費飼料場,而那些公司根本沒打算遵守任何授權或補償作者。
#2 Hacker News 網友 semiquaver 0
當然不是。但完全沒有任何跡象顯示授權條款被違反。從免費存取伺服器下載一個檔案,在法律上不可能構成違反授權條款。害怕某件事會發生,跟某件事已經發生,是兩回事。
#3 Hacker News 網友 KolmogorovComp 0
我同情 open3dlab,但我認為把焦點放在成人內容上,只是想用低成本激起輿論。已經一次又一次證明過,從訓練來源中移除成人內容(至少對擴散模型而言),會讓輸出品質整體下降,而且是在成人內容之外的面向也一樣,特別是在表現人體方面。
#4 Hacker News 網友 paxy 0
執著於成人內容這件事很奇怪。為什麼要對 Roblox 拿資料後會做什麼做出那麼多道德判斷?下載完之後再跑一支腳本篩掉不符合標準的東西,這不是很簡單嗎?而且你也需要大量成人內容來訓練偵測與移除成人內容的分類器。用零證據去暗示「Roblox 下載成人內容是為了給小孩看!!!」來操作憤怒,這種手法很可悲。
#5 Hacker News 網友 tarsierscripter 0
真正的重點是:這麼多人下載,會把你的伺服器連線塞滿、CPU 或磁碟直接打滿(看整條鏈上哪一環最弱)。我們以前管這叫阻斷服務攻擊,現在它顯然只是做生意的成本罷了,連只是想經營非營業性質愛好網站的人都要承受。
#6 Hacker News 網友 happyopossum 0
整篇文章把矛頭指向「Roblox」這個實體,但從行為模式看來,這比較像是某個個人在進行抓取,甚至可能不是為了公司用途。看看時間軸——這個爬蟲就像是在某人的筆電上跑的:週末關機就停、午餐時間也停。
#7 Hacker News 網友 dofm 0
重點不是下載量有多大,而是一家美國 corporation 在明知違反條款的情況下,未經授權抓取社群資產、還無視 robots.txt。這種資源,在以前是會讓小孩面臨大半輩子牢獄的。但我同意,這種美國公司的盜取已經不算新聞了。(是的,這就是竊取:他們知道自己可能不能做,而根據這篇文章,他們還試圖繞過更多限制。)
#8 Hacker News 網友 littlecranky67 0
我知道這是不受歡迎的觀點,但如果你不希望自己的內容被爬,就必須把它放在付費牆後面並取得版權。德國最高法院的判決認定網路爬取完全合法(那是在競爭對手爬航空公司票價的脈絡下)。