當法律事務所也開始微調開源大語言模型|Latham & Watkins 自建 GPU 伺服器、微調 Nvidia 開放權重模型

美國第二大律師事務所 Latham & Watkins(去年營收 83 億美元),自行購買 Nvidia GPU 伺服器,在上鎖且僅限自家員工進出的資料中心空間部署硬體,由內部機器學習工程師與軟體工程師團隊微調 Nvidia Nemotron 3 開放權重模型。據《金融時報》9 月 10 日報導,這是大型律師事務所首次公開自建 AI 硬體並進行模型微調。

一、三個動機

Latham 首席資訊長 Rene Mendoza 指出,這項決策背後有三個考量。

資料安全:「有時我們手上的客戶資訊極度敏感,我們不想把它交給任何雲端供應商。」自建基礎設施意味著敏感資料從頭到尾不離開自家系統。

成本彈性:AI 服務的使用量定價「會帶來很多消費成本」,自建硬體讓事務所在成本結構上多一個選項,不完全受制於外部供應商的計價方式。

供應商不鎖定:「我們不會把所有賭注押在某一家公司上。」若 OpenAI、Anthropic 等供應商調整價格或服務條款,Latham 已有備案。

二、Nemotron 3:為什麼選這個模型

Nemotron 3 是 Nvidia 自家開發的開放權重大型語言模型家族,分為 Nano、Super、Ultra 三個層級,總參數量從 300 億到 5,500 億不等,但因為採用 MoE(Mixture-of-Experts,混合專家)架構,推理時只啟動一小部分參數——例如旗艦級的 Ultra 總參數 5,500 億,實際活躍參數僅 550 億。這代表自建部署的硬體門檻,遠低於同規模的全參數模型。

對法律事務所而言,Nemotron 3 有幾項特別契合的特徵:

  • 開放權重且商用免費:採用 Nvidia Open Model License,可下載、可微調、可在自有硬體上運行,商業使用免授權費
  • 最高支援 100 萬 token 上下文窗口:法律工作常需處理大量契約、訴訟文件與監管規範,長上下文能力直接對應這類需求
  • Nvidia 硬體搭配 Nvidia 模型:軟硬體出自同一家廠商,整合度與最佳化程度是其他開放權重模型(如 Meta 的 Llama 系列)較難比擬的

來源報導未指明 Latham 使用的是 Nano、Super 還是 Ultra 哪個層級。

三、四條路線:大型律所如何導入 AI

Latham 並非唯一投入 AI 的大型律所,但走的路線截然不同。目前大型律所的 AI 導入策略,大致可歸納為四條路線:

(1) 與資料分析平台商合作——代表案例:Kirkland & Ellis 與 Palantir 合作開發 AI 工具。優勢在於平台商具備成熟的資料整合與部署能力;代價是客戶資料仍經由外部系統處理,且定價權掌握在合作方手中。

(2) 採用法律科技新創的產品——代表案例:A&O Shearman 採用法律科技新創公司 Harvey 的工具。優勢在於產品專為法律場景設計,導入門檻較低;代價是這類新創的底層通常仍建立在商用大型語言模型之上,等於同時依賴新創公司與其背後的模型供應商,而新創本身的存續與服務穩定性也是風險。

(3) 直接與大型語言模型開發商合作——代表案例:Freshfields 今年宣布與 Anthropic 合作。優勢在於直接取得最新的模型能力;代價是資料仍須送進供應商的系統,並受其定價政策與服務條款約束。

(4) 自建硬體、微調開放權重模型——代表案例:Latham & Watkins。優勢在於客戶資料完全不離開自家系統、不受任何單一供應商鎖定;代價是資本支出高昂(報導引述業界估計,這種規模的 GPU 伺服器購置與運維成本每年可達數千萬美元,隨技術演進甚至可能升至數億美元),且需自建工程團隊與資安防護。

從第一條到第四條,對外部廠商的依賴遞減、自主掌控遞增,但技術門檻與資本支出也同步遞增。

四、合夥人制度 vs. 資本支出

律師事務所的合夥人制度天生不利於大額資本支出。前期購買硬體、建置團隊的費用,直接壓縮當年度分配給權益合夥人的利潤,這正是多數律所偏好訂閱雲端服務而非自建基礎設施的原因。

Latham 選擇逆勢投入。事務所合夥人暨 AI 策略委員會主席 Michael Rubin 表示,過去幾年,事務所的「專業技術人員、創新律師、機器學習工程師、AI 工程師和編碼律師的數量都顯著增加」,目前技術專家人數已超過 900 人。

五、自建與商用並行

值得注意的是,Latham 並沒有因此放棄商用工具。報導指出,事務所的律師仍可使用 ChatGPT、Claude、Gemini 等商用模型,自建系統是在此基礎上多出的選項。CIO Mendoza 表示,律師可依任務性質——特別是資料敏感程度——決定使用自建系統或商用工具。

自建與商用並行,而非全押其中一邊,或許才是 Latham 策略的真正核心。

資料來源: