編按：本文綜合整理自 Ars Technica 與 CNN 原始報導，並加入 Siami 編輯部觀點與分析。
事件：AI 假情報差點引爆美中衝突
美國軍方根據一份「完全錯誤」且由 AI 工具協助生成的情報報告，險些在中東海域攔截並登上中國船艦。根據 CNN 報導，這份情報由美國特種作戰司令部的分析師提交，聲稱該中國船隻正在運輸核武器計畫相關零件。美軍當時已準備派出空中支援，準備進行攔截與登船行動，直到官員發現聊天機器人「不準確地辨識了船上裝載的物品」才踩下煞車。
一名消息人士告訴 CNN，這場由 AI 引發的烏龍「幾乎引發一場戰爭」。
CNN 引述四名知情人士指出，那名分析師使用聊天機器人分析關於該中國船隻貨運清單的情報。該聊天機器人「將開源情報與政府持有的機密信號情報融合在一起」，最終被打包成一份情報報告，幾乎引爆一連串災難性的後果。
「幻覺」從詞語到現實風險
這次事件是 AI 幻覺（hallucination）破壞專業報告可信度的重大案例之一。「Hallucinating」這個詞在 2023 年被《劍橋詞典》選為年度代表字，此後我們見過太多慘例：非虛構作家、記者、學術研究者、法官、醫師、警察機關、企業客服中心等，都曾被 AI 工具生成的虛構內容誤導。儘管有人嘗試用「請不要幻覺」這類可愛的提示詞來防範，部分研究人員認為，要徹底防止 LLM 產生幻覺可能根本不可能。
一般人會預期美軍在把 AI 用於情報分析時應該已經意識到這些問題。然而，美國國防部今年一月推出了「AI 加速策略」（AI acceleration strategy），目標是「讓所有合適的資料都能在聯邦式 IT 系統中供 AI 利用，包含各軍種與單位的任務系統」。
「AI 的好壞取決於它接收的資料，我們會確保那些資料到位，」國防部長 Pete Hegseth 在推出該倡議時如此表示。
國防部的 AI 部署速度
去年十二月，美國國防部宣布將採用 Google 的 Gemini for Government 作為其客製化「GenAI.mil」平台的基礎。上個月，該部門又把 Grok for Government 加入平台選項。Anthropic 也為美國情報作業提供客製版的 Claude。
今年六月，五角大廈一位代表向國會吹噓，已用生成式 AI 協助撰寫國會要求的報告，並有 150 萬名現役國防部人員使用過軍方的生成式 AI 工具。
早在 2023 年，美國國務院的《負責任的軍事使用人工智慧與自主性宣言》強調，武裝部隊「原則上」使用 AI 時，「應該謹慎權衡風險與效益，並盡量減少非預期的偏誤與意外」。該報告也主張，AI 系統的「可究責」使用必須始終有「人類在決策迴路中、負責任的指揮管制鏈」。
然而，自那時以來，我們已經看到完全自主的攻擊無人機被用於俄烏戰爭中，並由北約支持的軍火商進行測試。今年三月，國防部將 Anthropic 列入黑名單，因為該公司反對其模型被用於自主武器系統——一名聯邦法官上個月將此舉裁定為「違反第一修正案的非法報復」。
這次險些發生衝突的事件，正值 AI 研究人員發出滅絕級警告、引發新一波 AI 安全國家級討論之際，包括來自前沿 AI 實驗室呼籲的監管與協調研究「節奏」。
為什麼這件事重要
這不是普通的「AI 出了包」事件，而是一場險些把世界推向核武邊緣的真實事故。情報分析這種工作本質上需要極高的精確度，因為決策者會把分析結果轉化為軍事行動。當 LLM 在這種關鍵環節「編造」出船上的貨物內容，整條決策鏈就建立在沙堆上。
更值得警惕的是美軍的 AI 採用速度。國防部一月才剛推出「AI 加速策略」，六月就已有 150 萬人在使用內部生成式 AI 工具。從導入到出事，整個循環不到一年。
而 2023 年那份國務院《負責任的軍事使用 AI 宣言》強調的「人類在決策迴路中」原則，在這次事件中顯然失靈。一個聊天機器人憑空生成的貨運清單，居然差點讓美軍動用空中力量在公海上攔截中國船隻——這個後果的不可逆程度，遠超過一般人對「試用新工具」的容忍範圍。
- 這是已知 LLM 幻覺問題首次在戰爭邊緣被實證
- 國防部內部流程明顯還沒為 AI 編造內容做好風險控管
- 「人類在決策迴路中」原則形同具文
- 事件發生在美中關係高度緊張時段（與伊朗戰爭期間），誤判機率被放大
數據解讀與質疑
150 萬名現役人員使用過軍方 AI 工具這個數字值得拆解：
- 這是「用過」而非「依賴」——但任何 AI 工具一旦進入日常流程，依賴幾乎是必然的下一步
- 一個分析師在情報鏈中用 AI 分析船隻貨運清單，這個使用情境本身就已經踩在「高風險決策」紅線上
- CNN 引述「四名熟悉此事件的消息人士」證實情報「完全錯誤」，並稱「幾乎引發戰爭」——這是極嚴厲的內部評價
最大的質疑點：國防部一月推出的「AI 加速策略」明確寫著要「讓所有合適資料供 AI 利用」，但沒有任何對應的「AI 幻覺防呆機制」。把一份 LLM 生成的貨運清單當作攔截外國船隻的依據，這是流程設計問題，不是單一人為疏失。
未來觀察重點：
- 美軍是否會公布內部調查結果？情報鏈中哪個環節最後踩煞車？
- Anthropic 被列入黑名單後（因反對自主武器），Claude 是否仍在這次事件中被使用？
- GenAI.mil 平台（Gemini + Grok on AWS）是否會新增「高風險決策警示機制」？
從律師用 ChatGPT 寫假案例被法院制裁（2023）、到警察用 AI 寫虛構報告被開除（2024）、再到今天美軍差點用 AI 假情報登上中國船艦——AI 幻覺的危害曲線正在向「不可逆決策」的方向攀升。這次沒出事，不代表下次也不會。
資料來源
網友熱門留言 (5)