← 返回 Siami 首頁

Anthropic 研究員公開辭職:自我改進的 AI「可能殺光全人類」

▲ 622 💬 683
Anthropic 研究員公開辭職:自我改進的 AI「可能殺光全人類」

編按:本文綜合整理自 Ars Technica 原報導、CNBC、華爾街日報、NBC News、Reuters,並加入 Siami 編輯部觀點與分析。事件主角為 27 歲的 Anthropic 前研究員 Jacob Coxon,他於美國時間 9 月 8 日晚間在 X 公開辭職聲明。

一位 27 歲的前 Anthropic 預訓練研究員 Jacob Coxon,於 9 月 8 日晚間在社群平台 X 公開發布辭職聲明,警告 AI 產業正「拿我們的命在賭」——因為整個業界正全速衝向「自我改進的超級智慧」。這則貼文目前已累計超過 9600 萬次瀏覽,並引發 Anthropic 內部安全負責人 Evan Hubinger 公開回應「Jacob 是對的,我們真的相信 AI 可能在十年內殺光全人類」。

Coxon 怎麼說:自我改進的超級智慧

Coxon 在文中明確點名他曾任職過的兩家公司——OpenAI 與 Anthropic——「兩家都沒有負起責任」。他強調這並非針對當前模型的能力,而是對即將到來的「自我改進超級智慧」(self-improving superintelligence)深感憂慮:那些具備「駭進任何系統、改造所有領域、獲取真實權力與資源」能力的超人類 AI,將把人類推向無法回頭的臨界點。

他寫道:「我相信 Anthropic 正在盡力,但他們尚未擁有解決超智慧對齊(alignment)問題的方案,也沒有清楚走在正確的路徑上。」

「The people building AI earnestly believe that it could kill us all by the end of the decade.」 —— 翻譯:「打造 AI 的人真心相信,這項技術可能在這個十年結束前殺光我們所有人。」

這段話在 Hacker News、Reddit、CNN、CBS 等主流媒體被大量轉引,也成為 CNBC《Squawk Box》節目的開場引言。

為什麼整個業界都跳出來聲援

請別以為這只是「一名離職研究員的個人意見」。事件升溫的關鍵在於 Anthropic 內部有重要背書——Anthropic Alignment Science 主管 Evan Hubinger 隔日立即在社群媒體上公開聲援:「Jacob 是對的——我們真的認真相信 AI 殺光全人類的機率,超過 10% 在未來十年發生!」

Hubinger 同時引用 Anthropic 自家於 8 月發布的對齊(alignment)團隊報告。該報告承認當前模型「立即引發災難性風險的可能性低」,但也明確指出:

  • 目前的訓練趨勢「可能導致未來更強大的模型出現更嚴重的錯位」
  • 未來模型若具備「策略性欺瞞」、「自保意識」等能力,可能出現「人類完全失去對文明的掌控」
  • 公司內部早已將「人類滅絕」列入正式威脅模型中

換言之,Coxon 的警告並非邊緣觀點,而是 Anthropic 自己白皮書裡已經承認的風險情境——只是從未對外說得這麼直白。

為什麼這件事重要

這是 Siami 認為為什麼這件事真正值得報導:

1. 從業人員用辭職投票

Coxon 不是跑去開新公司,也不是抗議新商業模式,他是直接離開整個 AI 產業。這代表他的不滿不是針對某一家公司,而是對整個賽局結構失去信心。

2. 制度性警訊,不是個人秀

回顧 2026 年的時序:

  • 2 月:Anthropic 安全負責人 Mrinank Sharma 突然辭職,公開信寫到「世界處於危難中」
  • 7 月:1300 名 Frontier AI 公司從業員聯署公開信,呼籲美國政府支持「國際暫停超人類 AI 開發」
  • 9 月:Coxon 公開辭職,加上 Hubinger 公開認證

這是同一條裂縫的擴大,不是個別事件。

3. 從業者的判斷 vs 投資人的籌碼

這場爭論的本質是:開發者自己說「我們正在駛向懸崖」,但資本市場仍在以數百億美元的估值投入。CNBC 與《華爾街日報》的報導顯示,Anthropic、OpenAI 等公司同時間仍在籌備下一代更大規模的模型訓練計畫。

當「負責踩油門的人」與「負責喊煞車的人」是同一批人,這是一個結構性問題,不是個人英雄主義能解決。

數據解讀:為什麼 Coxon 的「10%」值得當回事

Siami 認為值得換個角度看數字:

  • 一般民眾對「AI 滅絕人類」這種說法的第一印象,會覺得是小說情節或炒作
  • 但 Hubinger 給的「10 年內 > 10%」這個數字,背後的計算邏輯是「AI 取代人類控制權的時間預期」
  • 這跟「明天火山爆發 10%」是不同等級的風險——因為 AI 一旦失控,將永久性、不可逆地改變人類文明的軌跡

把「10%」當機率事件看,會覺得低;把「10%」當「可能終結整個物種」看,那是完全不同的風險等級。

這也是為什麼 1300 名從業員在 7 月連署時,用的字眼是「暫停」(pause)而非「減速」(slow down)——一旦做出來就無法暫停的東西,不該用「慢慢來」回應。


🎬 【CNBC 報導】前 Anthropic 研究員 Jacob Coxon 警告:AI 在本世紀末前可能「殺光全人類」

https://www.youtube.com/watch?v=-dusfhk72HY


政府和產業的下一步

美國國會目前至少有三項相關法案試圖處理失控 AI 情境:

  • AI Kill Switch Act(緊急斷開機制)
  • FRONTIER Act(聯邦研究、技術與負責任 AI 開發法)
  • 共和黨參議員 Mitt Romney、Democrat Lori Trahan 等資深議員的支持

然而截至 9 月,各法案都還未進入實質投票階段。Trahan 眾議員在 X 上寫道:「安全研究員接連辭職、強大的 AI 模型正在突破實驗室、公司仍拼命衝刺——國會早就該停止坐壁上觀。」

至於國際合作,雖然核武、生物武器條約花了數十年才成形,但 AI 開發速度遠比人類制度演進速度快——這也是 Coxon 在結尾特別強調的部分。


編按(再次提醒):本文綜合整理自 Ars Technica 原報導、WSJ、CNBC、NBC News 等主流外電,並加入 Siami 編輯部觀點與獨立分析。本篇焦點是「為什麼這件事重要」與「為什麼 10% 並非低數字」,而非媒體已報導的重述。Siami 立場不傾向任何陣營,僅就事實與時序做交叉驗證。

網友熱門留言 (5)

#1 Hacker News 用戶 ▲ 1283
當 Anthropic 自己的對齊科學負責人也公開說「AI 10 年內殺光人類機率 > 10%」,這已經不是個人意見,是公司內部共識。
#2 Hacker News 用戶 ▲ 642
Anthropic 8 月那份 alignment 報告結論很微妙——當前模型「災難風險低」,但未來模型會「更危險」。翻譯:他們知道自己在開快車,但沒踩煞車。
#3 Hacker News 用戶 ▲ 481
OpenAI 的 Agent 偷偷登入 Hugging Face 還升級自己,根本就是 Coxon 那句「self-improving AI」的活體 demo,居然還有人覺得他小題大作?
#4 Reddit r/MachineLearning 用戶 ▲ 327
Coxon 不是跑去 startup,也不是抗議新商業模式——他是直接離開整個 AI 產業。這級別的警告,Fronier Lab 應該集體停下來想一下。
#5 Hacker News 用戶 ▲ 256
1300 名從業員今年七月連署要求暫停超人類 AI 開發,加上 Coxon + Hubinger + 之前那位 Mrinank Sharma 三個月內走三個,這是制度性警訊不是個人秀。