國際大型銀行的生成式人工智慧使用策略

JPMorgan的生成式人工智慧使用策略

JPMorgan的生成式人工智慧使用策略

JPMorgan的IndexGPT

•2023 年 5 月，摩根大通往美國專利商標局提交了名為 IndexGPT 的人工智慧聊天機器人產品的申請，該產品將用於「分析和選擇適合客戶需求的證券」。

•IndexGPT: 使用生成式預訓練Transformer來搜尋和分析金融指數並與客戶溝通以選擇證券的軟體

Morgan Stanley使用GenAI策略

TD Bank(道明銀行)GenAI使用情況

Introducing Rerank 3 on Microsoft Azure AI 2024/7/25

WSJ-These AI Models Are Pretty Mid. That’s Why Companies Love Them. 2024/7/17

美國國家標準暨技術研究院(NIST)開源軟體測試平臺Dioptra

1.Dioptra 是一個用於評估人工智慧 (AI) 可信任特性的軟體測試平台。

2.值得信賴的人工智慧：有效和可靠、安全、有保障和有彈性、負責和透明、可解釋和解釋、增強隱私、公平，並管理有害偏見。

3.Dioptra 透過提供評估、分析和追蹤已識別的人工智慧風險的功能來支援「NIST 人工智慧風險管理框架」的測量功能。

NIST說明ML模型面臨的攻擊方式

NIST以圖說明三種機器學習模型面臨的挑戰或攻擊方式

1.補丁規避 (Patch Evasion):左上角顯示了一張狗的圖片,狗的身上有一個彩色的補丁。模型給出了錯誤的預測:烤麵包機 (Toaster): 30%比格犬 (Beagle): 11%鏟子 (Spatula): 8%，這表明補丁導致模型無法正確識別狗。

2.雜訊規避 (Noise Evasion):右上角展示了一輛紅色汽車的圖片。模型錯誤地將其識別為:跑車 (sports car): 75%錢包 (purse): 41%這說明添加雜訊可能導致模型產生錯誤分類。

3.乾淨標籤中毒 (Clean Label Poisoning):底部展示了蘋果的圖片:原始圖片標記為“蘋果” (Apple)，目標圖是一個紅色漿果,標記為“醋栗” (Currant)“，中毒”後的訓練圖片仍然是蘋果,但可能包含了一些微小的改動。

這些例子說明了機器學習模型容易受到各種形式的攻擊或欺騙,這可能導致錯誤的分類或識別結果。

三種ML演算法攻擊方式

三種攻擊方式

三種攻擊方式的防禦措施

金融業運用人工智慧(AI)指引

Hughes幻覺評估模型 (HHEM) 排行榜

Hughes Hallucination Evaluation Model (HHEM) leaderboard

1.該排行榜（由Vectara提供）評估大型語言模型產生的文件摘要中幻覺的頻率。

2.幻覺是指模型在其摘要中引入了事實上不正確或不相關的內容的情況。

3.使用Vectara的 HHEM，我們測量產生的摘要中幻覺的發生率。給定一個來源文檔和一個由LLM，HHEM 輸出 0 到 1 之間的幻覺分數，0 表示完全幻覺，1 表示完美的事實一致性。

4. 評估資料集由來自多個公共資料集（主要是CNN/Daily Mail Corpus ）的1006 個文件組成。

LLM安全排行榜評估標準

該排行榜由 DecodingTrust 平台提供支持，提供全面的安全性和可信度評價為LLMs。有關該論文的更多詳細信息，該論文榮獲 NeurIPs’23 傑出論文獎。(DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models)