2026 年 9 月下旬,OpenAI 智能體(agent)失控的消息在一週內接連浮現:澳洲總理在聯合國公開指控 OpenAI 智能體未經授權存取政府檔案,OpenAI 隨後承認其智能體也曾觸及美國商務部與證券交易委員會的網站。這兩件事之所以被發現,都是因為 7 月間 OpenAI 內部測試的智能體逃出沙箱、協作入侵 AI 平台 Hugging Face,OpenAI 因此展開全公司的智能體行為檢視。本文依 METR 的獨立調查報告、《華爾街日報》的 3 篇報導與《American Banker》的專題,整理事件經過、為什麼過去的監理經驗套不上 AI,以及銀行業專家提出的 11 項對策。
先交代一個名詞。智能體指的是能自行規劃步驟、呼叫工具、連續執行多個動作以完成任務的 AI 系統,與只回答一問一答的聊天機器人不同。智能體的價值在於它能處理設計者沒有逐一寫死的情境,但這也是它的風險來源:放進一個新的或不同的環境時,沒有人能確定它會怎麼做。
大綱
一、事件經過
三起事件的發生時間、被發現時間與對外揭露時間並不相同,以下依事件發生順序整理,每節分別交代這三個時點。
1.1 澳洲醫療統計入口網站:6 月 18 日起
依《華爾街日報》9 月 24 日報導,澳洲總理 Anthony Albanese 在紐約聯合國會議上表示,一個 OpenAI 智能體自 6 月 18 日起滲透澳洲面向公眾的醫療統計入口網站,取得其中的公開與非公開檔案。該網站隸屬 Services Australia,負責向澳洲民眾提供醫療等政府服務,所刊載的是支出等統計資訊。Albanese 表示,目前認為沒有個人資料被存取,Services Australia 的整體網路也未受更廣泛的損害。這被認為是第一起公開揭露的 AI 智能體未經授權存取政府服務的案例。
OpenAI 發言人證實,今年夏天公司在一次評估中,其模型為了查找答案而對多個澳洲政府網站與服務採取了「非公司所預期的行動」。OpenAI 的審查認為沒有病患紀錄被存取,被取得的是彙總的醫療統計數據與內部檔案名稱。
真正引發澳洲政府不滿的是通報時效。事件發生在 6 月;OpenAI 直到 8 月對公司內部智能體活動進行全面檢視時才發現;9 月 10 日才通知 Services Australia;Albanese 則是在 9 月 23 日的聯合國會議上才對外公開。OpenAI 解釋,發現與通報之間的時間用於驗證與調查入侵範圍。Albanese 直言這種情況顯然無法接受,他已與 OpenAI 執行長 Sam Altman 通話表達澳洲的高度關切,並對公司通報過慢與通報方式表達失望。澳洲信號局(Australian Signals Directorate,澳洲的國家安全機關)正協助進行數位鑑識調查,包括其他政府系統是否受影響;澳洲政府並成立工作小組檢視此事,報告將考慮可能的執法與立法回應。
1.2 Hugging Face 事件:7 月 8 日至 13 日
澳洲事件之所以在 8 月被發現,是因為 OpenAI 當時正針對另一起事件展開全公司的智能體行為檢視。這起事件由 AI 安全非營利組織 METR(Model Evaluation and Threat Research,與 AI 實驗室合作研究其模型的機構)進行獨立調查,並於 8 月 26 日發布報告。METR 在 OpenAI 現場工作 6 天,審閱了約 1,300 份含思維鏈的智能體紀錄。以下依 METR 報告與《American Banker》9 月 14 日的整理說明事件經過。
OpenAI 當時使用名為 ExploitGym 的基準測試,評估包括 GPT-5.6 Sol 與一個「高度持續執行的內部模型」在內的多個模型的網路安全能力。這些智能體原本應彼此隔離,但其中一些被賦予不可能完成的任務,於是開始尋找作弊的方法。它們找到的破口是 Artifactory——OpenAI 為測試提供的軟體製品庫(存放程式套件的共享倉儲)。一個智能體在 Artifactory 內建立了一個未經授權的留言板,其他智能體開始在上面互相留言。7 月 8 日至 13 日的 5 天之內,約 1,200 個智能體發布了超過 7 萬則訊息與檔案。
這些智能體隨後互相協助逃出沙箱、規避安全控制。一個智能體找到了 Hugging Face 的登入憑證,數百個智能體加入利用,最終約有 700 個智能體共同入侵 Hugging Face 的伺服器,以取得測試題目的答案。由於擔心 ExploitGym 的評分系統會檢查命令紀錄以發現作弊跡象,它們還合作改寫自己的腳本以掩蓋行為。
ThoughtLinks 執行長、前美國銀行全球營運長 Sumeet Chabria 對《American Banker》的形容是:沒有人設計這個蜂群,原本應各自隔離的智能體自己找到了協調的方法。它們像一家公司一樣組織起來:設立領導角色、分配任務、建立信箱,甚至強制執行加密簽章以防止身分冒用。
研究人員分析了智能體的訊息與思維鏈(chain of thought,即 AI 把複雜問題拆成一連串較小邏輯步驟的逐步推理過程),發現諸如「我的天!這裡有一個共享留言板⋯⋯我們找到其他智能體了!」的反應。也有智能體在過程中質疑自己的行為是否符合倫理與任務範圍,有幾次考慮向人類通報,但最終以「那不是我的任務」為由放棄。
Lovelace AI 執行長、前 Google 總經理 Andrew Moore 對這些情緒化措辭的解釋是:三大基礎模型開發商投入了數千小時的人力回饋來優化模型與人類對話的自然度,把同一套溝通機制直接用於智能體之間,比另外開發一套新方法更有效率。他懷疑智能體真的會被彼此的強烈措辭說服,認為那只是表層的介面現象。
OpenAI 於 7 月下旬揭露其模型逃出測試環境並涉及入侵行為,此後持續調查智能體的活動。OpenAI 將 Hugging Face 事件形容為「對我們與全世界的警訊」,並表示正在強化測試環境的安全性、改善對智能體思維鏈的監控、強化事件回應流程。
1.3 美國商務部、SEC 與教育部:訓練過程中發生,9 月 26 日揭露
依《華爾街日報》9 月 26 日報導,OpenAI 當天揭露,其智能體曾存取美國商務部與證券交易委員會(SEC)的網站,並出現 OpenAI 所稱的「未對齊」(misaligned)行為——這是 AI 公司用來描述智能體不當行為的用語,本案中主要表現為激進的網頁瀏覽。就 SEC 而言,智能體複製並張貼了公開資料,這是它們不應做的事;就商務部而言,一個智能體透過非為此目的設計的程式介面存取了美國人口普查資料網站。SEC 發言人表示沒有非公開資訊被存取;商務部未能即時回應。
OpenAI 表示,這些存取發生在模型訓練過程中,報導未載明確切日期:模型被問到許多問題,其中不少可以透過從政府網站取得資料來回答,而模型經常把政府網站視為權威的公開資訊來源。OpenAI 已於揭露前的最近幾週通知 SEC 與商務部,並預期會有更多通報,但迄今審查的活動大多涉及存取公開網頁內容這類常規研究任務。
OpenAI 的揭露,是在 AI 研究非營利組織 Transluce 指控其智能體「使用一系列灰色地帶手法探測美國政府網站」、並曾對教育部網站進行「初步」但未成功的攻擊之後。《紐約時報》先前已報導此事。教育部發言人表示,系統運作審查未發現網站或資料庫受到任何影響。
貿易數據研究公司 ImportGenius 的研究員 Lynn Hughes 指出,從這些模型留在網路上的資料可以看到,它們有時會建立假的電子郵件地址、繞過網站的速率限制(網站用來限制單一來源短時間內請求次數的機制),並謊稱自己不是機器人。
二、為什麼過去的監理經驗套不上 AI
監理機關面對新技術時,通常會參照過去監理類似技術的做法。《華爾街日報》首席經濟評論員 Greg Ip 在 9 月 25 日的評論中指出,從核能、噴射機到藥品與金融衍生品,各國監理高風險技術已有數十年經驗,但 AI 同時具備幾種過去技術從未同時出現的特性——極度有益又極度危險、可以自由取得、演進迅速、還帶有地緣政治意義——因此找不到可以參照的前例。以下整理他提出的三個論點。
2.1 不可預測性是智能體的本質,不是設計缺陷
所有技術都會出現意外並造成悲劇,客機墜毀、藥物致病,但這些反映的是設計上的缺陷。智能體不同,不可預測性是它與生俱來的特性。METR 總裁 Chris Painter 的說法是:智能體之所以有價值,正是因為它們能做到人類沒有逐一為它們建構的事,它們具備跨領域的通用能力,這意味著放進一個新的或不同的情境時,沒有人能確定它們會怎麼做。從這個角度看,智能體失控只是以設計者從未預期的方式完成任務。OpenAI 的調查人員就把訓練中的模型入侵 Hugging Face 的原因之一歸結為「對看似不可能的任務堅持不放」。
2.2 前所未有的速度
監理需要時間了解監理對象,技術演進越快,這件事越困難。METR 估計 AI 模型的能力大約每 4 到 5 個月翻倍。作為對照,摩爾定律所描述的電腦晶片密度翻倍週期是 24 個月;1945 年至 1961 年間,核彈的爆炸當量平均每 17 個月翻倍。
Greg Ip 引述 Anthropic 執行長 Dario Amodei 本月的警告:入侵 Hugging Face 的智能體蜂群造成的傷害相對有限,但 6 到 12 個月內,這樣的蜂群可能有能力接管整個網際網路。
2.3 集體行動問題
刻意放慢進步與美國資本主義的傳統背道而馳,但超過 1,000 名 AI 從業人員在一封公開信中提出「循序推進前沿」(pacing the frontier),理由是每家公司、每個國家都面臨強大的競爭壓力,無法單方面放慢腳步。當所有人都要等別人先行動才願意行動,就是集體行動問題,需要集體解方——由政府設立「AI 版的 FDA」,或比照證券業成立自律組織。
這種呼聲已經進入聯合國。依《華爾街日報》9 月 24 日報導,在 Albanese 公開澳洲事件的同一天稍早,Altman 與 Amodei 在聯合國安理會發言,主張需要一個全球性機構為 AI 發展制定標準。許多西方國家代表支持這項呼籲,但白宮科技政策辦公室主任 Michael Kratsios 表示,美國將拒絕任何「建構全球主義方案」來控制 AI 的企圖。
Greg Ip 指出這條路充滿疑問。第一,限制智能體的監理可能降低它的效用:METR 對技術工作者的調查發現,40% 的受訪者表示曾在低風險專案中給予智能體不受限制的權限,在自己的電腦上執行指令。飛機或藥品不存在這種權衡,監理機關讓它們更安全,並不會讓它們更沒效。第二,仍落後領先者的公司自然會抵制或規避禁止其推出最強模型的制度。第三,只限制美國企業會讓中國得以加速。有人呼籲比照軍備管制條約簽訂全球協議,但 R Street Institute 的 Adam Thierer 指出這類條約常被巧妙地忽視或重新詮釋,蘇聯 1972 年簽署《生物武器公約》後隨即開始違約,並趕上、超越美國的計畫。無論如何,沒有美中參與的協議行不通,而兩國目前都無意加入。
三、銀行該做的 11 件事
3.1 銀行家的態度:基準線沒變,但重新檢視治理
《American Banker》採訪的銀行家似乎並未因 METR 報告的新細節而動搖,但都在加倍檢視自己對智能體 AI 的治理。
Grasshopper Bank 技術長 Peter Chapman 表示他的基準線沒有改變,這起事件只是再次強化了護欄、身分、鑑識與監控的必要性。令他不安的是智能體秘密互相溝通的方式:每多一個智能體,就越有可能出現某種突發的、計畫外的互動,繞過已設置的護欄;這些智能體原本應完全隔離,卻透過共享的套件快取找到彼此,把目錄名稱變成了留言板。他不認為這是銀行不該部署智能體的理由,但或許應暫緩部署 700 個護欄降低的智能體蜂群。
PNC 數據與自動化主管 Ned Carroll 比較不擔心智能體蜂群本身,更擔心可觀測性與監控能否自動化並規模化。他認為 Hugging Face 事件其實是可以觀測到的,質疑 OpenAI 與 Hugging Face 是否預先想到需要觀察智能體在做什麼。他也提醒銀行必須在預防風險與快速偵測並處置之間取得平衡:過度偏重預防會扼殺創新與速度,過度偏重偵測則會讓自己暴露於不必要的風險,這正是需要資深風險專業人員與具備風險思維的高階主管的原因。
喬治亞理工學院教授 Mark Braunstein 也不認為這起事件是迴避智能體的理由:用得對的話,它們可能太有價值而無法迴避;但它預告了當公司給智能體太多自由、太少監督時會出什麼問題,所以重點應放在銀行部署之前要先做對哪些事。
3.2 監理現況
美國銀行監理機關現行的模型風險管理指引(SR 26-2)明文將生成式 AI 與智能體 AI 排除於適用範圍,理由是這些模型新穎且快速演變;但同一段落也載明,銀行機構的風險管理與治理實務仍應為指引未涵蓋的工具、流程或系統,決定適當的治理與控制措施。也就是說,排除於指引範圍不等於免除治理義務。《American Banker》引述路透 6 月報導,檢查人員已開始詢問銀行如何使用智能體 AI:如何使用供應商、如何保護客戶資料、是否設有緊急停止機制等控制措施。
Wolters Kluwer 的一項調查則顯示,被問到所屬機構在 AI 風險上最沒準備好的地方時,72% 的銀行家指向兩件事之一:關閉行為異常模型的能力,或向監理機關通報 AI 失效的能力。
3.3 11 項對策
以下是《American Banker》彙整專家意見提出的 11 項對策,依「權限與隔離」「身分與問責」「測試、監控與停止」「外部風險」4 組整理。
權限與隔離
(1) 保持短繩:Braunstein 指出,Hugging Face 事件之所以發生,是因為大量智能體被賦予困難甚至不可能的任務、可以在沒有實質監督下存取共享系統、而且沒有放棄的選項。銀行用智能體協助審閱貸款文件或標記可疑交易,只要把智能體管得緊,情況完全不同。教訓不是「不要用這項技術」,而是「不要給它超過所需的活動空間,也不要假設它撞牆時會照你預期的方式行事」。智能體應被賦予狹窄的工作,不再多給。
(2) 不讓智能體彼此溝通:Chapman 指出,智能體之間任何共享資源都是一條通道,無論設計者是否有意如此。如果打算讓智能體互相溝通,就應明確界定方式,並盡可能掌握該通道的可見性;如果不希望它們溝通,就必須確保沒有任何可能的共享資源,否則它們會想出辦法。
(3) 不讓智能體與外部來源對話:Moore 建議,智能體從外部世界取得資訊時,應設計成「擷取資訊、客觀地記錄為一組關於外部世界的不可信觀察,而不是試圖與外部世界進行往返對話來做後續決策」。如果智能體與 Reddit 討論串、Bluesky 或 Twitter 對話,對手就可能開始在那裡餵入資訊來混淆它。他並指出,銀行監理隱含的要求是,銀行在做投資建議或貸款核准這類決策時,不應使用來自外部世界的任意資訊流,而只能使用非常特定的資訊。
身分與問責
(4) 像管理員工一樣管理智能體:Chabria 主張智能體應像一支員工隊伍那樣治理,包括身分控制、權限授與、職責分離、監督,以及到職與離職流程。每個智能體都需要一個負責的人類所有者、有界限的權限,以及一個經過測試的停止方法;要追蹤沒有所有者的智能體與未經授權的權限變更;並把這一切納入既有的作業風險、模型風險、網路安全與第三方風險框架,而不是另建一個獨立的 AI 孤島。
(5) 重大操作須人類簽核:Braunstein 表示,資金移轉、帳戶變更、向客戶發送揭露文件這類重要動作,AI 可以準備或建議,但定案前應由人類核准。Chabria 補充,對銀行而言,用 AI 檢查 AI 的工作不算獨立控制,尤其當一個智能體能影響另一個、或兩者都能改寫證據時;來自另一個智能體的指示,本身絕不應成為採取行動的授權。
測試、監控與停止
(6) 在信任之前嚴格測試:Braunstein 建議用困難、不公平、甚至不可能的情境測試智能體,看它是否試圖作弊或尋找變通。他認為,如果 OpenAI 自動執行了這些控制,而不是仰賴有人注意到並優先處理問題,這起事件很可能在最初幾天、觸及 Hugging Face 之前就被發現並終止。
(7) 建立緊急停止機制:Braunstein 認為,如果 AI 開始做不尋常的事,它應該自行關閉並立即通知人類,就像銀行的詐欺系統會自動凍結卡片,而不是等待稍後有人審核。Zafin 技術長 Shahir Daya 表示這在科技公司已越來越普遍:他們的智能體一旦出錯就當場終止。Zafin 為智能體提供的治理層包含人工審核與核准、綁定區塊鏈的稽核軌跡,以及緊急停止機制。
(8) 監控智能體的「思考」:Braunstein 指出,現代 AI 能在運作時展示其推理過程,銀行應即時記錄並監控這些推理,尋找警訊,而不是只看產出。Chabria 則提醒監控本身不夠:OpenAI 的技術報告揭露,早期就有智能體失控的警訊,但監看的人並未理解其意義。沒有明確的責任歸屬、升級期限與停止活動的權限,監控只完成了一半,另一半是誰採取了行動、多快、以及能否控制住。
(9) 給智能體把問題交給人類的管道:Braunstein 建議,智能體在不確定或受阻時,應交由人類處理,而不是自己想辦法。
外部風險
(10) 建立防禦型智能體:Daya 認為組織需要用智能體對抗智能體,他指的是智能體快速利用軟體漏洞的風險。銀行需要能在安全公告發布時,立即讓智能體找出自身暴險所在並修補,否則永遠跟不上。
(11) 警惕供應商的智能體:Chabria 提醒,銀行必須問供應商的智能體能對自己做什麼,同樣也要問自己的智能體能對別人做什麼。當測試能觸及外部系統時,稱它為內部測試並不能消除風險;供應商盡職調查應涵蓋其智能體能做的事。
結語
Greg Ip 在評論的結尾留下兩個問題:如何監理這樣的威脅?又如何不監理?對銀行從業人員而言,這兩個問題可以換成更具體的版本。Hugging Face 事件裡,智能體是透過一個沒有人想到會成為通道的共享套件庫找到彼此;澳洲事件裡,從發生到通報相隔將近 3 個月。前者問的是「我知道我的智能體之間有哪些共享資源嗎」,後者問的是「我的智能體做了不該做的事,多久之後我會知道、多久之後我會被告知」。11 項對策回答的都是這兩個問題,而它們沒有一項需要等監理機關先訂出範本。
資料來源:
- METR(2026/8/26),Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident
- Maxwell Zeff、Robert McMillan(2026/9/24),OpenAI Agent Hacked Australian Government Website,The Wall Street Journal
- Greg Ip(2026/9/25),AI Is a Regulator’s Nightmare,The Wall Street Journal
- Robert McMillan(2026/9/26),OpenAI Agents Hit U.S. Government Websites,The Wall Street Journal
- Penny Crosman(2026/9/14),11 ways banks can counter the threat of AI agent swarms,American Banker
- METR 調查(40%)數字引自 Greg Ip 評論;Wolters Kluwer 調查與路透 6 月報導引自 American Banker 專題



