零信任人工智慧安全的挑戰
許多組織正在努力實施零信任安全框架來管理企業網路安全風險。 然而，生成式人工智慧（GenAI）的出現為這種實踐帶來了重大挑戰，包括：
- 邊界模糊：零信任安全模型傳統上依賴使用者和應用程式之間的明確區分。 然而，法學碩士整合應用程式打破了這種區別，同時發揮兩者的作用。
- 強大而幼稚的代理：這些「人工智慧代理」可以被視為組織內智慧但幼稚的實體。 他們能夠基於豐富的知識進行複雜的互動和內容生成，但往往缺乏對公司規範和安全策略的理解。
- GenAI 脆弱性：這些新使用者/應用程式實體的部署不能盲目信任，會帶來一些獨特的安全挑戰，例如即時注入和資料中毒。
- 人工智慧資料外洩：未經批准使用GenAI會產生資料和存取風險，例如資料外洩、對線上資源的危險存取以及代表未經授權的使用者存取公司資源。
- 敏感資料暴露：使用者可以將敏感的公司或客戶資料輸入到人工智慧應用程式中，這些資料可能會用作法學碩士的培訓資料並暴露給其他使用者。
- 及時注入：特製的輸入可能會導致法學碩士行為不當，從而導致規避系統護欄的行為並使公司及其數據面臨風險。
從零信任角度看法碩士
為了應對 LLM 部署中的這些挑戰，一套獨特的零信任測量勢在必行：
- 仔細驗證、監控和執行 LLM 整合應用程式的輸入、輸出、訓練資料和存取嘗試至關重要。 為了減輕與 LLM 整合應用程式相關的風險，組織必須了解任何注入和中毒嘗試、培訓中無意包含的敏感資料以及未經授權的存取。
- 從零信任的角度來看，組織內這些新引入的動態、自主和創造性實體不能被盲目地信任。 這需要在實施時採用新的安全方法。
- 法學碩士的不可預測性、廣泛的知識和對操縱的敏感度要求修訂、基於零信任的人工智慧存取框架。 這將使安全從業人員能夠確保強大的資料保護、安全性和存取符合公司策略。
零信任人工智慧清單
考慮到零信任人工智慧存取 (ZTAI) 方法，將 LLM 整合應用程式視為需要嚴格存取控制策略的實體（甚至比普通員工更嚴格）至關重要。 我們不能相信法學碩士關於獲取哪些內容以及訪問哪些網站的決策。 因此，我們不能信任正在獲取並呈現給用戶的數據，這些數據必須經過嚴格的安全措施。
LLM 整合應用程式存取網際網路的安全檢查表
網路存取大大增加了與 LLM 整合應用程式相關的安全風險。 管理這些風險的一些最佳實踐包括：
- 盡可能拒絕存取：除非絕對必要，否則不要為您的模型提供 Internet 存取權限，因為這會大大增加攻擊面。
- 實施存取控制：在透過上網來增強法學碩士時，請確保嚴格的存取控制策略到位，符合您的組織策略。 不要將目前的存取控制策略外包給外部供應商並將其應用到您的新用戶。
- 封鎖受限制的網站：為您的基於 LLM 的應用程式實施網址過濾和網路釣魚保護，以防止它們訪問受限制的網站。
- 嚴格控制可存取的資料：根據用例限制代理程式可以存取的目的地及其可以獲得的資料。 限制應包括適當的內容、文件類型和網站類別。
- 執行資料驗證：持續驗證法學碩士取得並呈現給使用者的資料。 不要相信法學碩士只提供無害的數據，因為它可能容易產生幻覺或包含有毒的訓練數據。
零信任人工智慧存取框架在存取企業資源時不信任LLM整合應用程式的行為或決策。 這包括存取哪些資源以及何時存取、將哪些資料匯出給哪個使用者以及可以使用這些資源執行哪些操作。
LLM 整合應用程式存取公司資源的安全檢查表
就像提供網路存取一樣，允許法學碩士整合的應用程式存取公司資源可能是必要的，但也可能是危險的。 管理這些風險的安全最佳實踐包括：
- 限制提升權限的使用：限制LLM整合應用程式的權限，尤其是高風險操作，例如修改和刪除公司資料。
- 實施最低權限：將法學碩士可以存取的公司資源限制在絕對最低限度。
- 要求重新驗證和帳戶逾時：在代理程式使用公司資源執行任何操作之前，要求使用者重新驗證並限制會話時間。
- 執行行為分析：監控 LLM 整合應用程式的行為和決策。 需要關注的因素包括存取哪些資源、將哪些資料匯出給哪個使用者以及使用公司資源執行哪些操作。
- 保持即時可見性：確保對代理正在存取的線上或公司資源以及正在執行的操作有清晰、詳細和即時的可見性。
- 追蹤異常行為：實施一個系統來檢測法學碩士的異常行為模式，例如意外的資料存取或偏離典型回應或存取模式。
- 實施基於角色的存取控制：為代理程式實施基於動態使用者的存取控制策略，這表示 LLM 在每個會話中繼承與最終使用者相同的存取權限。
- 最大限度地減少法學碩士之間的交流：當法學碩士可以與另一個法學碩士互動時，損害可能會呈指數級增長。 確保將基於 LLM 的應用程式的通訊限制在絕對最低限度。
反映意見