詐騙者據稱用 Gemini 寫的詐騙網站鎖定了數十萬名受害者。
Google 總是熱衷於告訴外界,人們用它的生成式 AI 產品打造新事業、拓展業務、拯救世界。表面上是這樣。當然,人們也把 AI 拿來犯罪。Google 近日宣布對一個名為「Outsider Enterprise」的中國組織發起新的法律攻勢,該組織據稱運作了一場規模龐大的 AI 詐騙活動。Google 表示正與執法機關和電信商合作打擊。
根據 Google 的訴狀,Outsider Enterprise 透過 Telegram 運作。這個集團提供「釣魚即服務」(phishing-as-a-service),給那些技術能力不足以自行架設詐騙網站和簡訊活動的個人。在 Telegram 頻道中,Outsider Enterprise 據稱提供教學,指導成員如何利用 Google 的 Gemini AI 打造模仿 Google、YouTube,以及紐約 E-ZPass 等政府機關的假網站。該集團提供了近 300 套詐騙模板。
Google 表示,Outsider Enterprise 發動的詐騙活動向 Android 用戶發送了超過 250 萬則簡訊,光是上個月內的兩個星期就有約 55,000 則。整體而言,Google 已追蹤到 9,000 個假網站和 100 萬個與這個詐騙網絡有關的 URL。
這些簡訊通常聲稱用戶的帳號出問題,或是包裹配送有狀況。當用戶點進連結,就會被導向由 Gemini 設計、偽裝得極為逼真的詐騙網站。網路犯罪者利用這些網站竊取個資和銀行帳戶資訊。Google 的訴狀並未估算 Outsider Enterprise 詐騙造成的總金額損失,但官方部落格文章指出,「數百人」已經損失了部分金錢。
Google 與 AT&T、Verizon 和 T-Mobile 合作,阻擋了大量惡意簡訊,Google 也指出,Google Messages 中內建、透過裝置端 AI 運作的詐騙偵測功能,可能也協助降低了成功釣魚的數量。這項 AI 功能每月擋下 100 億則詐騙簡訊,可以合理預期它也擋下了部分 Outsider Enterprise 的活動。
AI 威脅需要新法律
Google 過去也曾對詐騙者提告,但這是它第一次直接對一個被指控把 Gemini 當作詐騙工具一部分的集團採取行動。每次發表新的 Gemini 模型時,Google 都會強調內建的安全機制,但這些機制往往與聊天機器人需要「聽話、討好用戶」的整體需求相衝突——然後,你就會看到數千名詐騙者用 Gemini 架設假網站。
除了民事訴訟,Google 也在協助 FBI 網路犯罪部門進行平行的刑事調查。然而,目前沒人知道 Outsider Enterprise 的幕後主使者是誰,即使 Google 掌握了姓名,當犯罪者在中國時能做的也極為有限。Google 可以去追查假域名和 Telegram 帳號,試圖擾亂 Outsider Enterprise 的運作,但詐騙手法很可能只是換個形式繼續。
Google 認為,AI 時代需要新的執法方式,因此藉這次機會再次公開表態支持一連串立法。Google 已點名七項潛在的聯邦法案,包括《打擊詐騙國家戰略法》(National Strategy for Combating Scams Act)、《詐騙防治戰略工作小組法》(Strategic Task Force on Scam Prevention Act),以及《AI 計畫法》(AI Plan Act)。
Google 支持的多數立法都呼籲一個或多個聯邦執法機關成立工作小組,反制 AI 輔助詐騙和市場操控的威脅。其中一項(《AI 公共意識與教育宣傳法》),目標是提升民眾辨識 AI 惡意用途的能力。然而,整個產業追求「擬人化 AI」的終極目標,只會讓這類內容變得更難以辨識——即便有再多立意良善的政府立法,也難以扭轉這個趨勢。
網友熱門留言 (5)