神經網路其實已經「乾淨」了？Goodfire 創辦人推翻十年共識：90% 神經元只做一件事

Goodfire 研究員 Nick Cammarata 在最新發布的長文〈Neural Networks Are Already Clean〉中提出一個顛覆性的主張：過去十年學界對「神經網路不可解釋」的共識，可能從根本上就是誤讀。他認為神經網路其實是「乾淨的」— 約 90% 的神經元只有一個主要工作，可解釋性的前景遠比多數人以為的好。

核心論點：疊加假說被誤讀了

過去學界普遍相信兩個學習原則：泛化（把相似東西聚在一起）與疊加（把無關東西塞進同一個神經元）。疊加假說主張，當神經網路「神經元不夠用」時，就會把不相關的概念硬塞進同一個神經元；因此要研究網路，得先用稀疏自編碼器（Sparse Autoencoder）把網路「解開」再分析。

Cammarata 認為這個解釋是錯的。他稱真正的現象為「遞歸泛化」（recursive generalization）— 神經元像樹枝一樣，在訓練過程中會「長出」相關的子分支。例如某個偵測「iy」這個音節的神經元，最後長成偵測「diy」，再變成偵測「do it yourself」這個概念 — 最後那個分支根本不含「iy」這個音。

「我幫忙提出了兩種解釋，但疊加是錯的那一個。剩下唯一的學習原則還是泛化，只是泛化是碎形（fractal）的。這比較不令人擔憂：你可以從群聚方式學到東西，但兩個疊加的東西則沒什麼好學的。」

實驗數據：90% 的神經元是「乾淨的」

Cammarata 與 Goodfire 團隊在 Qwen3-32B 上做了初步審計，數字相當驚人：

約 90% 的神經元極（neuron poles）只有一個主要工作（常帶幾個小相關分支）
約 7% 有兩個相關工作
僅 2-4% 尚未被理解

在 Kimi K3（規模上兆參數）上他們也看到類似結果。密集模型與混合專家（MoE）模型的表現大致相近。

2023 年時，OpenAI 內部對 GPT 類模型做的研究只找到約 1.7% 的神經元可解釋；而在更小的單層模型上，自動解釋專案給出的中位數神經元評分是 14 分中的 0 分 — 評分員連假設都提不出來。Cammarata 認為差距這麼大，是因為：

2023 年的解釋模型跑不動「猜想 → 測試」的循環
工具與指標太弱，獎勵能「模擬激活」而非「正確」的解釋
沒人知道神經元語言 motif 該長什麼樣，找的方向錯了
當年的研究用的是小模型或簡化模型，本來就「擠不下」

InceptionV1 的「貓與車神經元」也是錯的

學界最愛引用的「多義神經元」案例 — InceptionV1 的 4e:55 — 同時對貓臉與車頭反應。Cammarata 跟 Chris Olah 在 2019 年重看那個電路，發現它根本不是疊加的證據，而是普通的視覺處理架構問題：架構問題導致深層溢位，孱弱的解釋工具把這些問題放大成「看起來不連貫」。

好消息是，只要改善架構（讓深層學得更好），不需要動模型大小或訓練資料，那個最後一層 99-100% 的神經元都變得可解釋 — 而且整個模型從頭到尾都「讀得懂」。Cammarata 在 300 倍規模範圍內訓練了多個版本，每個版本都讀得懂。

為什麼這件事重要

這篇論文對 AI 安全與 alignment 社群有重大意義。如果「神經網路是不可解的結」是錯的，那我們其實可以直接理解現代語言模型：

不需要先解開網路再研究，可以直接當「普通科學」做
大模型反而比小模型更容易理解（神經元更細，motif 更明確）
理解會複合：像填字遊戲，一塊拼對了，周邊會自動明朗
最終可能可以理解整個網路，而不只是 alignment 相關的少數機制

「也許可解釋性有個『慘痛教訓』：擴展普通調查的規模，勝過設計巧妙的分解法。」

對齊研究的意涵

Cammarata 直接挑戰了當前 AI alignment 圈的主流做法 — 用稀疏自編碼器（SAE）拆解特徵再研究。他的看法是：SAE 式的分解把很多神經元混在一起，反而會把真實的單元掩蓋掉。他舉例團隊在 SwiGLU 神經元中找到了一個「雙重負向機制」，那種現象如果把所有神經元混在一起研究，幾乎肯定會被隱沒。

如果他的論點站得住，alignment 研究的整個工具棧（SAE、attribution graph decomposition 等）都需要重新檢視。

已知限制與待驗證

必須誠實說，這是一篇單一作者的觀點論文（essay + working hypothesis），不是經過同儕審查的論文。Cammarata 自己也在文中標註了：

「90%」這個數字取決於怎麼定義「一個工作」、怎麼處理弱激活
他在「強激活」樣本中看到接近 97% 非任意混合 — 但樣本規模小
文章是「到處看一眼、推測方向」式的全景式論述，細節會在 companion paper 中展開

技術細節尚未公開，重現性需要等 companion paper 與其他團隊複證。但論文的可證偽性很高：任何人都可以拿 SAE 在 InceptionV1 上重做，如果新架構下「解不開」的情形依舊存在，這篇的核心論點就破。

評論與業界反應

Hacker News 該文討論串 761 分、296 則留言，社群反應熱烈
許多可解釋性研究者（如 Anthropic 的 Transformer Circuits 團隊）論文被大量引用，可能會有正式回應
AI 安全社群目前主流押注 SAE 法，論文若被驗證將引發方法論級別的爭論

為什麼這篇讓人興奮

這是 Goodfire（一家專注於可解釋性的 AI 新創）今年最具野心的研究輸出，作者 Nick Cammarata 本身是 Curve Detectors（2020, Distill）、Multimodal Neurons（2021, Distill）等多義神經元早期經典研究的共同作者 — 等於是當年提出問題的人，回頭跟你說「其實我們想錯了」。

如果他說對了，AI 可解釋性就不再是「未來某天可能做到」的事，而是現在就能開始的普通科學。