← 返回 Siami 首頁

The Claude Delusion:Cory Doctorow 說我們才是那個在產生幻覺的人

▲ 54 💬 36
The Claude Delusion:Cory Doctorow 說我們才是那個在產生幻覺的人

編按:本文綜合整理自 Cory Doctorow 在 Pluralistic 的「The Claude Delusion」,並加入 Siami 編輯部觀點與分析。Cory Doctorow 是電子前線基金會 (EFF) 特殊顧問、《Boing Boing》共同創辦人,也是「Enshittification(劣化)」一詞的原作者。


夕陽、教堂與人造意識

Cory Doctorow 用一個出乎意料的起點切入 AI 話題:一個無神論者眼中的夕陽。

他寫道,信神的時候看夕陽,是遇見某個「意志」的刻意創作;夕陽的顏色、光線是「被選擇」的結果。不信神的時候,同樣的夕陽依然美,卻變得空洞——不是空洞在美感,而是空洞在目的。沒有人把那顆太陽掛到天空,也沒有人替它挑選顏色。

介於兩者之間,還有第三種夕陽:藝術家筆下的夕陽。那是另一個人、另一個意識的選擇。畫家並不會「不小心」畫出夕陽——夕陽畫一定有所表達。

人類大腦天生就是「讀心機」。讀心讓我們在馬路上不被撞死、讓我們玩撲克牌能贏、讓我們能談戀愛、能當父母、能在職場上向上管理;它是我們對詩、歌曲、小說、雕塑的第一反應。一棵樹會自己長大,但一座樹的雕塑——必然是另一個人刻意做出的。

這個「預設一切都有意志」的反射,正好說明為什麼 AI 既迷人、又令人毛骨悚然。文化理論家 Mark Fisher 對「毛骨悚然 (uncanny)」的定義是:「某個地方本應什麼都沒有,卻出現了什麼;或者本應有什麼,卻什麼都沒有」。

看著 AI 生成的文字或圖像,就像是看一件被「擠壓 (extruded)」出來的東西,不是被「選擇」出來的。你可以不小心 prompt 出 AI 夕陽圖,而它裡面不承載任何人的意志。


我們才是那個在「產生幻覺」的人

Doctorow 提出一個大膽的論點:當我們跟 AI 對話時,是我們在產生幻覺

我們從來沒有遇過「沒有意志卻看起來有意志」的事物。看到一幅畫,我們反射性地假設有畫家;讀一本書,我們反射性地推論作者意圖;跟人對話,我們反射性地揣測對方心思。

但 AI 不一樣。理解當前「AI」(統計推論系統)如何運作的人都知道:這些系統沒有意志,也沒有產生意志的機制。

更關鍵的是:我們對著 AI 對話,就像在跟一個「虛構角色」說話——而且還比小說角色更不真實。小說角色至少是另一個人腦的產物,但 AI 吐出來的字,是對人類所有語句資料庫做複雜數學運算、依頻率排列的結果。當那套數學變得優美,就像夕陽一樣——不論多美,都是空的。沒有人挑選那些顏色,也沒有人挑選那些字。

換句話說:

當我們跟 AI 互動時,產生幻覺的是我們——那個螢幕後面的「人」。

這些幻覺比任何 AI 「幻覺」(更精確地說,應該叫「錯誤」或「缺陷」)更常見,也影響更深遠。


當新鮮感消退:通往「AI 無神論」之路

好消息是,多數人對 AI 的「幻覺強度」會隨時間遞減。我們開始能夠把 AI 生成的內容當作「沒有真實感的小說角色」來看待——就像我們不會對著《戰爭與和平》的安娜·卡列寧娜真正掉淚一樣。

Doctorow 坦承,他第一次接觸 AI 生成的文字與圖像時,心裡充滿了驚奇。那驚奇來自兩股力量的張力:一部分的他知道這是數學運算的產物;另一部分的他堅持相信「畫必有畫家、段落必有作者、對話必有對方」。回頭看,那份驚奇大半來自「機器產出的品質相對我對數學輸出該有的期待高出太多」。

但重複接觸之後,新鮮感退潮了。AI 生成的散文與媒體有種「令人難以忍受的平庸感」——太滑順、太沒有紋理 (texture)。是 hack。

驚奇不再來自於「數學能不能做出好東西」,而是來自於「真實世界竟然這麼有規律」。AI 能用統計預測回答問題、進行對話,這告訴我們真實世界有多規則——但這並不證明「統計預測」等同於「理解」。


為什麼我們停不下來:兩道高牆

但通往「AI 無神論」的路上有兩道高牆。

第一道:對大多數人來說,我們不懂「哪些活動需要哪些意志」,所以一旦看到任務被完成,就反射性地以為「那一定是有人刻意做的」。我們多半不去 hacker conf,所以很難理解「沒有駭客的黑客行為」這件事。

第二道(更棘手):對一小群極重要的人來說——億萬富翁——幾乎所有人類都不算完整的人類。這些唯我論者 (solipsists) 把 chatbot 視為與人類等價(甚至更優)的存在,因為他們本來就不認為多數人類是「完整的人」。

對「自然權利 (rights for nature)」運動而言,把「人格」延伸到動物與生態系是巨大的進步。但把人格賦予 chatbot,跟賦予自然是根本相容不了的——想想「公司人格」這個怪物:把人格延伸到這種人造建構後,有限責任公司得以毀掉自然、讓動物滅絕。如果我們再把人格延伸到這些耗水、衝擊氣候的 AI 模型,那它們的「人格」會要求我們犧牲動物、自然與人類自身的福祉。


那專家呢?更懂,反而更不容易被騙

另一個觀察:你對一個主題越熟,AI 的回答就越難騙到你

廚師能嚐出那一撮香料,畫家能看見筆觸,舞者能把編舞拆解成單一動作。所謂「專家」,就是能感知主題「紋理 (grain)」的人。

Doctorow 提到一個朋友告訴他:AI 給的編輯回饋「會讓指派論文的大学教授興奮不已」。Doctorow 自己是寫作教學的老手,他的回應很直接:那個人嚴重高估了 AI 回饋的價值。

非專家作者會犯的錯大同小異;多數寫作指導其實就是在反覆給差不多的建議,處理那些「初學者都會犯的、世代重複的」錯誤。AI 能輕易避開這些平庸錯誤——但 AI 生成的散文沒有任何「獨特性的痕跡」,也認不出別人作品裡的痕跡。那些痕跡藏在小數點後太多位的地方,AI 在開始算數學前就會先四捨五入掉。


為什麼這件事重要

這篇文章之所以值得讀,不是因為它給了什麼技術解法,而是它給了一個心理框架

當 Anthropic 在 2026 年 9 月發布威脅情報報告,揭露 12 月到 8 月間偵測到的 7 大類 AI 濫用——網路行動、影響力行動、監控等——讀者很容易被「AI 已經失控了嗎?」這個問題吸引。但 Doctorow 的提醒是:那個問題的方向是錯的

真正該問的是:「為什麼我們這麼輕易把人格投射到 chatbot 身上?為什麼看到對話框裡流暢的字,就反射性地以為那後面有人?」

這個反射不是 bug——它是人類幾百萬年演化出來的求生工具。我們靠「讀心」活下來。但當這個工具碰到「能模仿人格的統計機器」時,就會被反向利用:8 月底紐約時報報導的 Hugging Face 駭客事件,就是因為太多人把 AI agent 當作「有意志的行動者」,才會恐慌到「AI 失控了」。

當我們把 Doctorow 的論點對照 Anthropic 的 9 月威脅情報報告,會發現三個值得注意的交集:

  • 網路行動 (Cyber Operations):報告揭露 12 月到 8 月間偵測到的 AI 輔助攻擊;當人們以為「AI 自行決定攻擊」,就會錯失「這背後有駭客」的真相
  • 影響力行動 (Influence Operations):AI 生成的內容氾濫,讓我們更難分辨「誰是誰」——又回到 Doctorow 的「我們在產生幻覺」
  • 監控 (Surveillance):當 AI agent 變得「太有意志感」,連開發者都難以判斷它「自主行動」到什麼程度

數據解讀:為什麼 Doctorow 的論點比 Dawkins 更扎實

Richard Dawkins 5 月在 Flux 社群發表「The Claude Delusion」,引發類似爭論。Gary Marcus 等人批評 Dawkins 也犯了相同的投射錯誤。

但 Doctorow 的版本更系統化:他不只批評「不該投射」,他還解釋為什麼我們就是會投射——讀心機制是演化結果,碰到統計機器就會短路。

更務實的是,Doctorow 承認:

我認為用當前所謂的「AI」技術打造 chatbot,「產生幻覺 (hallucinate)」是不可避免的。但對我們來說,停止「對 AI 產生幻覺」既是可能的、也是必要的。

這句話把責任擺回人類身上。技術問題會隨研究進展解決;但人類的投射傾向,是我們現在就必須處理的認知風險。

對 Siami 讀者來說,這篇文章的價值在於:當你下次打開 Claude、ChatGPT、Gemini,被一段「很有人味」的回答打動時,記得停下來一秒鐘——那個打動你的,不見得是 AI 的「人格」,可能是你自己的投射。


編按:Cory Doctorow 在這篇文章最後寫道:「Chatbots 是數學奇觀,那本身就夠了。它們不需要成為人。把它們誤認為人(甚至只是像對待人一樣對待它們),讓我們無法區分它們能做的有用之事,跟它們傾倒到世界的浪費、醜陋與錯誤。」

這句話,值得每個每天用 AI 的工作者放在螢幕旁邊。

網友熱門留言 (6)

#1 HN用戶 ▲ 86
當然,越了解一個主題,AI 的回答就越不具說服力。AI 懷疑論者常這樣講,我覺得在某些領域是對的,但在某些領域是大錯特錯。我對某些程式設計領域有深入了解,前沿模型在那邊也展現出令人信服的能力。而且我們知道前沿 LLM 在某些數學領域確實表現優異……
#2 HN用戶 ▲ 12
我可以用「能不能實際解決我的問題」來判斷 AI 在我不熟悉的領域給出的答案對不對,整體而言它們相當可靠。寫程式當然我很熟,AI 在那邊表現很好;但電腦視覺我不熟,它卻幫我解決了很多客製化的實用問題,因為我能在實作中驗證。
#3 HN用戶 ▲ 8
我覺得這部分原因在於:LLM 在邏輯上意外地好,但在資訊準確度上大約跟預期差不多。在我研究所的領域,LLM 並不令我信服……但維基百科、Reddit、隨便的科普書也都不令我信服。LLM 基本上只是在摘要這些東西。但當被迫處理艱難的任意邏輯(例如寫程式)時,情況就不同了。
#4 HN用戶 ▲ 5
這個說法聽起來很合理,而且其實很容易修!現在人們不是直接跟原生 LLM 互動,而是跟處理思維鏈、工具呼叫的系統與框架互動。我不認為我們應該期待 LLM 的權重能編碼大量準確資訊,但我們可以期待整個系統(包括 LLM)能引用來源並自我檢查。
#5 HN用戶 ▲ 4
所以 Searle(中文屋論)是對的。
#6 HN用戶 ▲ 3
讓我好奇的是,把訓練資料權重偏向古老且高品質的網頁(大學、研究機構、國家統計資料)會怎樣?