為解決企業因使用人工智慧而產生的特定網路安全風險,2024/10/16(週三),紐約州金融服務部(NYDFS)發布了指導意見,提出了人工智慧對金融服務業網路安全構成的四個主要風險以及企業必須採取的六項緩解措施。
這個指導意見提及了「主要風險」與「緩解措施」,涵蓋面相當廣泛,可作為國內金融機構抵禦人工智慧所生之網路安全風險的參考。

大綱
四個主要人工智慧網路安全風險
1. 人工智慧輔助的社會工程學
社會工程學是指通過心理操縱來誘導人們洩露敏感信息或執行某些行為,而不是利用更多的技術漏洞,長期以來一直是網路安全領域的問題。 KnowBe4、Fortinet、SANS Institute 等許多公司都提供安全意識培訓計劃,重點是透過向員工傳授他們可能成為此類活動目標的跡象來減輕社會工程的威脅。 人工智能可以利用「社會工程學」使這種攻擊更加高級和具有說服力。例如:
- 利用AI生成高度個性化的釣魚郵件,更容易欺騙收件人。
- 創建逼真的深度偽造(deepfake)音頻或視頻,用於身份冒充。
- 使用AI分析大量社交媒體數據,為攻擊者提供更精準的個人信息。
該指南引用的一個例子發生在 2 月份,當時一家跨國公司香港分公司的一名職員被誘騙參加一場視訊會議,其中所有其他參與者都是人工智慧生成的深度假貨,其中包括一個冒充公司首席財務長。據當地媒體報道,這名店員最終向五個當地銀行帳戶進行了 15 筆交易。
2. 人工智慧增強的網路安全攻擊
這指的是利用AI技術來增強傳統的網絡攻擊方法,使其更加有效和難以檢測。例如:
- 使用AI快速發現和利用新的系統漏洞。
- 開發能夠實時適應和繞過防禦系統的智能惡意軟件。
- 利用機器學習來優化分佈式拒絕服務(DDoS)攻擊。
3. 非公開信息的洩露或盜竊
這種風險與組織內部使用AI系統有關。具體來說:
- AI系統在訓練和運行過程中需要處理大量數據,可能包含敏感信息。
- 如果AI模型或其使用的數據集被未授權訪問,可能導致機密信息洩露。
- AI系統可能無意中在其輸出中洩露訓練數據中的敏感信息。
4. 由於供應鏈依賴而增加的漏洞
這涉及到使用第三方AI系統或組件所帶來的風險,攻擊者不一定直接針對主要目標(如銀行),而是選擇攻擊較弱的環節(如第三方服務提供商)。
人工智慧驅動的工具和應用程式在很大程度上依賴大量數據的收集和維護。收集資料的過程經常涉及與供應商和第三方服務提供者合作。供應鏈中的每個環節都會引入可能被威脅行為者利用的潛在安全漏洞。
- 組織可能依賴外部AI服務或工具,這些服務如果存在安全漏洞,可能危及使用它們的組織。
- AI系統的供應鏈可能很複雜,涉及多個供應商,增加了潛在的攻擊面。
- 惡意行為者可能通過滲透AI供應鏈來影響大量下游用戶。
- 這種通過第三方竊取數據的方法並不是新出現的,而是一直存在且日益嚴重的問題。
- 第三方風險和供應鏈漏洞是銀行和監管機構共同關心的問題,而人工智慧則放大了這些擔憂。
這些風險突出表明,隨著AI技術在各個領域的廣泛應用,網絡安全面臨著新的挑戰。組織需要在利用AI帶來的好處的同時,也要充分認識和應對這些潛在風險。
DDoS是”Distributed Denial of Service”的縮寫,中文通常翻譯為”分散式阻斷服務攻擊”。這是一種常見的網絡攻擊方式,其目的是使目標系統或網絡資源無法正常運作,從而影響合法用戶的正常訪問。
以下是DDoS攻擊的一些關鍵特點:
分散性:攻擊來自多個源頭,通常是被黑客控制的大量電腦(稱為”殭屍網絡”或”僵屍網絡”)。
目標:通常是網站、服務器、網絡基礎設施等。
方法:通過發送大量請求或流量來耗盡目標系統的資源(如帶寬、處理能力、記憶體等)。
影響:導致服務中斷、網站無法訪問、網絡變慢等。
DDoS攻擊的幾種常見類型包括:
流量洪泛:發送大量無用的數據包佔用網絡帶寬。
協議攻擊:利用特定網絡協議的漏洞。
應用層攻擊:針對Web應用的特定功能發起大量請求。
在人工智能背景下,DDoS攻擊可能變得更加複雜和難以防禦。
NYDFS在指導意見中強調的六個緩解措施的例子對於許多網路安全和風險專業人士來說都是熟悉的,其中包括基於風險的計劃和政策、供應商管理、存取控制和網路安全培訓。此外,NYDFS希望將這些做法直接與其法規中規定的要求聯繫起來。
NYDFS部門主管Adrienne A. Harris在一份新聞稿中表示:“人工智慧提高了企業增強威脅檢測和事件響應策略的能力,同時為網路犯罪分子以更大規模和更快的速度實施犯罪創造了新的機會。” 「紐約將繼續確保,隨著人工智慧工具變得更加豐富,安全標準仍然嚴格以保護關鍵數據,同時允許在不斷變化的數位環境中解決不同風險狀況所需的靈活性。”

Adrienne Harris(紐約州金融服務部主管)
緩解風險的六項措施
1. 風險評估和基於風險的計劃、政策、程序和計劃
此措施強調了全面、動態和高層次的網絡安全管理方法,特別是在應對AI帶來的新挑戰方面。包括以下重點:
- 風險評估要求: 受監管實體必須基於網絡安全風險評估來維護網絡安全程序、政策和措施。這些評估必須考慮包括深度偽造在內的人工智能帶來的威脅。
- AI相關風險的全面評估: 風險評估應涵蓋組織自身使用的AI、第三方服務提供商和供應商使用的AI技術,以及可能威脅信息系統或非公開信息的AI應用漏洞。
- 定期更新和調整: 風險評估至少每年更新一次,並在業務或技術發生重大變化時進行更新。每次更新後,應評估是否需要相應調整網絡安全政策和程序。
- 應急和恢復計劃: 實體必須建立、維護和測試包含主動措施的計劃,以調查和緩解網絡安全事件,並確保運營彈性。這包括制定事件響應、業務連續性和災難恢復計劃,這些計劃應合理設計以應對包括AI相關事件在內的各類網絡安全事件。
- 高級領導層的職責: 高級管理層在優先考慮網絡安全和建立將合規性整合到整體業務策略中的文化方面發揮關鍵作用。他們需要充分了解網絡安全相關事務(包括AI相關風險),監督網絡安全風險管理,並定期接收和審查管理層關於網絡安全事務的報告(包括AI相關報告)。
2. 第三方服務提供者和供應商管理
此措施強調了在管理第三方服務提供商關係時,特別是在涉及AI技術使用時,需要採取全面和謹慎的方法。這包括了從初始評估到持續監控的整個過程,以及在合同和操作層面上的具體要求。包括以下重點:
- TPSP政策和盡職調查: 受監管實體必須維護第三方服務提供商(TPSP)政策和程序,包括在使用可訪問其信息系統和/或非公開信息(NPI)的TPSP之前進行盡職調查的指南。這包括評估TPSP面臨的AI相關威脅,這些威脅如何影響受監管實體,以及TPSP如何保護自己免受這些威脅。
- TPSP政策的最低要求: 受監管實體的TPSP政策和程序應包括訪問控制、加密、以及針對可訪問信息系統和/或NPI的TPSP的盡職調查和合同保護指南等最低要求。
- 網絡安全事件通知: 受監管實體應要求TPSP及時通知任何直接影響受監管實體信息系統或TPSP持有的NPI的網絡安全事件,包括與AI相關的威脅。
- AI使用的額外保護措施: 如果TPSP使用AI,受監管實體應考慮納入與安全使用受監管實體的NPI相關的額外陳述和保證,包括要求利用可用的增強隱私、安全和保密選項。
3. 存取控制
此措施強調了在應對AI帶來的新安全挑戰時,多層次、動態和技術先進的訪問控制策略的重要性。它們涵蓋了從認證技術的選擇到持續的權限管理的各個方面。包括以下重點:
- 多重因素認證(MFA)要求: 自2025年11月起,網絡安全法規要求受監管實體為所有授權用戶(包括客戶、員工、承包商和第三方服務提供商)實施MFA,以訪問信息系統或非公開信息(NPI)。
- MFA的實施建議: 鑒於AI帶來的風險,建議使用能夠抵禦AI操縱的深度偽造和其他AI增強攻擊的認證因素。例如,避免使用SMS短信、語音或視頻認證,而應使用AI無法模仿的認證形式,如基於數字的證書和物理安全密鑰。
- 生物識別技術的進階應用: 建議使用具有活體檢測或紋理分析技術的認證因素,以驗證生物特徵來自真實人物。另一種選擇是同時使用多種生物識別模式,如指紋結合虹膜識別,或指紹和用戶擊鍵及導航模式的組合。
- 額外訪問控制措施: 除MFA外,受監管實體還必須實施其他訪問控制措置,以限制威脅行為者在MFA失效情況下可訪問的NPI範圍。這些控制必須限制授權用戶的訪問權限,僅授予其工作職能所必需的權限。
- 定期審查和更新訪問權限: 受監管實體必須至少每年審查一次訪問權限,確保每個授權用戶只能訪問其工作所需的NPI。同時,必須及時移除或禁用不再必要的訪問權限,在員工離職後立即終止訪問權限,並對授權用戶如何遠程訪問設備施加限制。
4. 網路安全培訓
此措施強調了全面、持續和針對性的培訓在應對AI相關網絡安全威脅中的關鍵作用。培訓涵蓋了從一般意識到具體技能,從高層管理到普通員工的各個方面,旨在建立一個全面的防禦體系來應對AI帶來的新挑戰。包括以下重點:
- 全面的人員培訓: 受監管實體必須為所有人員(包括高級管理層和高級治理機構成員)提供培訓,以確保他們了解AI帶來的風險、組織採用的風險緩解程序,以及如何應對AI增強的社會工程攻擊。
- 專門的網絡安全人員培訓: 必須為網絡安全人員提供專門設計的培訓,內容包括威脅行為者如何在社會工程攻擊中使用AI、AI如何被用來促進和增強現有的網絡攻擊類型,以及如何使用AI來改善網絡安全。
- AI系統相關培訓: 如果直接部署AI或與部署AI的第三方服務提供商合作,相關人員應接受如何保護和防禦AI系統免受網絡安全攻擊,以及如何安全設計和開發AI系統的培訓。對於允許使用AI驅動應用程序的其他人員,應培訓他們如何編寫查詢以避免洩露非公開信息(NPI)。
- 社會工程攻擊培訓: 網絡安全法規現在要求至少每年進行一次包括社會工程在內的網絡安全意識培訓。關於社會工程(包括深度偽造攻擊)的培訓可以通過模擬釣魚、語音和視頻模仿演習等方式有效實施。
- 實際操作程序培訓: 培訓應涵蓋在收到異常請求(如憑證請求、緊急資金轉賬或訪問NPI)時的處理程序。例如,培訓應強調在接到意外的電話、視頻或電子郵件轉賬請求時,驗證請求者身份和請求合法性的必要性。此外,培訓還應涉及在驗證程序中必須包含人工審核和監督的情況。
5. 監控
此措施強調了相關機構需建立監控流程,快速識別和修復包含非公開資訊(NPI)的安全漏洞。包括以下重點:
- 監控流程:相關機構必須實施監控流程,以便迅速識別和修復包含非公開資訊(NPI)的信息系統中的新安全漏洞。
- 活動監測:需要監控授權用戶的活動,以及電子郵件和網頁流量,以防止惡意內容和有害代碼的安裝。
- AI 查詢監控:使用 AI 產品或允許使用 AI 應用程序的機構應監控異常查詢行為,以識別可能提取 NPI 的嘗試,並阻止任何可能將 NPI 暴露於公共 AI 系統的查詢。
6. 資料管理
此措施強調有效的數據管理和最小化措施可減少非公開資訊(NPI)暴露風險。機構需更新數據清單,實施數據治理程序,並對使用 AI 的系統加強控制,以防止潛在的數據洩露和威脅行為者的訪問。包括以下重點:
- 數據管理:有效的數據管理可降低非公開資訊(NPI)暴露的風險,減少潛在的數據洩露影響。
- 數據最小化:相關機構需實施數據最小化措施,及時處置不再必要的 NPI,包括用於 AI 的數據。
- 數據清單更新:雖然2025年11月前不強制要求,但應定期更新數據清單,以評估潛在風險並確保合規。
- 數據治理程序:實施包括數據收集、存儲、處理和處置的數據治理程序,以提升安全性。
- AI 系統控制:對於使用 AI 的機構,需確保控制措施到位,以防止威脅行為者訪問關鍵數據,並建立所有相關系統的清單以優先實施風險緩解措施。
參考文章
New York’s top banking cop issues warning about AI’s security risks
Financial Firms Need to Focus on Cyber Risks Posed by AI, New York Regulator Says