編按：本文綜合整理自 Mercor Benchmark Map 報告原文、Mercor APEX 排行榜、Hacker News 討論串（378 分、263 留言）、Mercor 官方 X 公告 與 Eloundou et al. 2023 GPTs are GPTs 論文，並加入 Siami 編輯部觀點與分析。
事件背景：Mercor 怎麼做這份「基準地圖」？
AI 招募平台 Mercor 10 月 16 日發布一份名為《A Benchmark Map of the US Economy》的開源研究，目標只有一個：把現有 AI 基準對應到真實經濟活動，量化「AI 到底覆蓋了美國多少工作」。
他們用的是美國勞工部的 O*NET 職業分類系統——這是美國官方用來描述 923 種職業、18,797 個具體任務的標準字典，每個任務都附有「AI 暴露度」標籤（沿用 Eloundou et al. 2023 發表於 arXiv 的 GPTs are GPTs 分類法）。
研究團隊挑了 29 個「未飽和、公開、agentic」的 AI 基準——包括 Mercor 自家 APEX-1、APEX-Agents，以及 SWE-bench、SWE-bench Pro、APEX-Accounting、APEX-Attorney、GAIA、HumanEval 等業界常用基準。挑選原則有四：
- 公開可取得：每個基準至少 25 個公開任務
- Agentic 任務：不是問答，而是要模型實際執行
- 經濟真實性：貼近企業實務，不像學術題那樣抽象
- 難度平衡：沒被前代模型刷飽和
接著用 LLM judge 給每個基準提示打上對應的 O*NET 任務標籤（用 Mercor APEX 的 held-out prompts 做人工驗證），如果某個任務被 5 個以上提示對應，就標記為「被覆蓋」。
核心數據：90% 工時沒被覆蓋的真實分佈
整體覆蓋率：只有 22.5%
Mercor 的結果非常直白：
- 923 個 O*NET 職業中，只有 208 個有 ≥5 個基準提示覆蓋（22.5%）
- 6 個職業類別完全沒被任何基準覆蓋
- 加權工時後，約 90% 美國勞工的工作時間，其實是 AI 基準的「測量黑洞」
按職業類別展開，最高與最低的差距極為懸殊：
| 職業類別 | 覆蓋數 / 總數 | 覆蓋率 |
|---|---|---|
| 電腦與數學 | 29 / 36 | 81% |
| 商業與金融 | 33 / 48 | 69% |
| 社區服務 | 10 / 14 | 71% |
| 法律 | 5 / 7 | 71% |
| 辦公與行政 | 21 / 51 | 41% |
| 管理 | 21 / 56 | 38% |
| 建築與工程 | 19 / 56 | 34% |
| 銷售 | 6 / 22 | 27% |
| 藝術與媒體 | 13 / 40 | 33% |
| 科學 | 15 / 60 | 25% |
| 醫療照護 | 12 / 89 | 13% |
| 教育與圖書館 | 9 / 62 | 15% |
電腦與數學類幾乎被「刷滿」，醫療、教育、科學這些佔美國 GDP 比重極大的類別，覆蓋率卻不到 25%。
偏差來源：頭部 + 高 AI 暴露 + 大薪資
Mercor 用迴歸分析找出基準設計的偏差結構：即使控制 AI 暴露度，薪資總額（wage bill）越高的職業，被基準覆蓋的機率仍然顯著更高。換句話說，AI 社群的資源集中在「大職業 + 高 AI 暴露」這個交叉點，這個象限剛好是律師、投資銀行家、軟體工程師這些工作。
報告還點出一個具體例子：AI 暴露度高的律師任務被基準大量覆蓋，但暴露度同樣高的律師助理、法律秘書、書記官，幾乎完全沒被測到。中產白領工作（mid-knowledge work）的長尾是基準設計的真正盲區。
為什麼這件事重要
這份研究的價值不在「AI 有多強」這個舊話題，而在戳破了一個長期被迴避的問題：「我們根本不知道 AI 在大多數工作上表現如何」。三個值得創業圈與投資人關注的意涵：
1. AI 取代白領的敘事被過度放大
過去 18 個月，AI「即將取代律師、會計師、分析師」的敘事鋪天蓋地，但 Mercor 的數據顯示，這些熱門職業只佔美國工時的一小部分。真正佔大多數工時的客服、行政、清潔、物流、零售、照護，AI 基準根本沒在量——所以也沒人敢說 AI 能做或不能做。
這解釋了為什麼 2024-2026 年的企業 AI 試點結果兩極化：律師事務所、投行、軟體公司覺得「有感」，但其他行業普遍「無感」。
2. 基準設計的選擇 = 資本配置的訊號
29 個被選進指數的基準，背後的開發資源、學術曝光度、人才招募都集中在大模型實驗室。Mercor 的研究客觀地呈現一件事：基準選擇本身就是資源分配的政治。如果一個 benchmark family 沒人做、沒人引用、沒人投資，那它涵蓋的職業就會被 AI 圈集體「看不見」。
對 Siami 讀者（科技創業者與投資人）的啟示是：當某個領域突然冒出大量新基準，那背後通常代表一批新創公司或資本正在湧入。APEX-Accounting、APEX-Attorney 這類垂直基準的出現，就是 AI 進入專業服務業的訊號。
3. Siami 觀點：「基準飽和」不等於「工作被取代」
報告還提到一個微妙的方法論陷阱：他們刻意排除「已被前沿模型刷飽和」的基準（例如 HumanEval 對 GPT-5 來說早就不夠看）。這等於承認，目前基準呈現的「AI 能力」其實是被刻意壓低的子集合——真實經濟活動的 AI 覆蓋率，可能比 22.5% 還更低（如果把飽和基準也算進去，反而會高估）。
更關鍵的是，Mercor 自己用 APEX 在 4 個熱門職業（投行、法律、會計、軟工）做真實評測，結果如下：
| 模型 | 投資銀行 | 法律 | 會計 | 軟體工程 |
|---|---|---|---|---|
| Claude Opus 5.5 Max | 73.3% | 70.2% | 60% 級 | 領先 |
| Claude Fable 5.1 Max | 69.8% | 68.5% | — | — |
| GPT-6 Astra Max | 65.5% | 61.8% | — | — |
| GPT-5.6 Sol Max | 66.8% | 65.6% | — | — |
| Gemini 3.8 Flash High | 66.9% | 67.5% | — | — |
| Kimi K3 Max | 59.4% | 59.9% | — | — |
| Grok 4.7 xHigh | 58.1% | 58.7% | — | — |
| DeepSeek V4.1 Flash | 56.5% | 58.4% | — | — |
即使在「基準最豐富」的 4 個職業，最頂尖模型的正確率也只有 73%。這代表 AI 對「知識工作」的自動化敘事，仍有巨大的現實落差。
數據解讀與質疑
質疑 1：29 個基準夠嗎？
Mercor 自己承認這 29 個基準是「先驗選擇」，不是經濟 AI 基準的完整宇宙。任何不完整清單都會系統性低估覆蓋率，但偏差範圍難以量化。換句話說，「90% 未覆蓋」是下限，不是精確值。
質疑 2：O*NET 任務定義是 1990 年代產物
ONET 描述任務的語言來自 1990-2010 年代的人類學訪談，未必貼近 2026 年 GPT agent 的執行邊界。例如「寫信給客戶」這個任務在 ONET 裡可能被切成 4 個小任務，但對 GPT agent 來說可能是一個 prompt 就解決。基準與任務的對應粒度仍有爭議。
質疑 3：物理工作真的「測不到」就等於「AI 做不了」嗎？
報告引用 Dingel & Neiman 的研究指出，只有 37% 美國工作可以完全遠端完成——剩下的 63% 涉及實體操作。Mercor 認為這 63% 目前「AI 基準無法涵蓋」，但 Figure 3、Optimus、1X Neo 等人形機器人正在快速進逼。一年後這張地圖可能會大改。
質疑 4：APEX 評測樣本數過小
報告坦言：「少於 ⅓ 的 O*NET 任務有足夠 APEX 提示進入加權評分」，這代表上述 73% 的「Claude Opus 5.5 Max 投行分數」，其實是基於相對少數題目推算的，信心區間不會太窄。對 Siami 讀者的解讀建議：把這些數字當方向感，不是精確答案。
對 Siami 受眾的實質影響
-
AI 投資人：短期內（2026 Q4 - 2027 Q1）AI 取代白領的敘事會被「基準不夠」這類研究反覆戳破，導致企業 AI 採購速度放緩。但中期來看，垂直基準（APEX-Accounting、APEX-Attorney）會是企業級 AI 採購的真正基礎建設。
-
AI 創業者：如果你的產品鎖定律師助理、客服、清潔、零售這些基準黑盒子產業，你其實是站在 Mercor 沒覆蓋的 90% 市場上——這是「沒人敢量化 = 沒人能下結論 = 沒人敢投」的危險地帶，但也是機會地帶。
-
企業決策者：下次廠商來 demo AI 取代某個職能，問他：「你這個基準的 O*NET 任務覆蓋率是多少？」如果他答不出來，他的模型很可能只在 22.5% 範圍內有效。
網友熱門留言 (5)