什麼是人工智慧安全?

人工智慧(AI)近年來迅速發展和成熟。 雖然人工智慧概念已經存在了幾十年,但過去幾年人工智慧的發展和生成式人工智慧的引入取得了長足的進展。 因此,各行業的公司都在探索如何最好地利用人工智慧。

人工智慧使用的激增對網路安全既有正面的影響,也有負面的影響。 一方面,人工智慧為敏感的企業和客戶資料帶來了重大的新安全風險。 另一方面,人工智慧網路安全也提供了增強企業網路安全的能力。

AI安全報告

什麼是人工智慧安全?

理解AI在現代網路安全中的角色

傳統的網路安全系統著重於維持網路或裝置的運作狀態。

然而,現代威脅很少試圖導致中斷,而是旨在:

  • 竊取有價值的企業資料
  • 在周邊防禦後方部署複雜的惡意軟體類型

為了讓防禦措施與這些目標一致,資安人員必須監控更多資料。

安全性資訊與事件管理 (SIEM) 與端點偵測與回應 (EDR) 的興起

隨著時間的推移,這種目標的改變可以從熱門的安全性工具中追蹤到 2010 年代早期,安全性資訊與事件管理 (SIEM) 工具的興起,推動了大量記錄檔案的擷取與分析。

自此之後,擷取的資料數量不斷增加。

例如,端點偵測與回應 (EDR) 會持續監控公司內每部筆記型電腦、電話和個人電腦的內部活動,而防火牆也會監控網路層級的活動。這些個別資料的建立速度比人工調查的速度還要快。

(但仍需將其轉化為可執行的情報)。

這正是如機器學習等AI取得重大進展的地方。

AI的採用

它透過在大型資料集上訓練演算法,將網路或惡意軟體資料組織成可辨識的模式。然後,這些模式可以套用到新的資料集,允許自動識別異常現象,例如:

  • 不尋常登入嘗試
  • 資料存取模式

隨著時間的推移,ML 模型會不斷從新的資料中學習,進而適應並提升準確性。

這只是AI讓人類網路安全團隊工作更快速、更有效率,以及評估更廣泛威脅情資的其中一種方式。

犯罪分子如何使用AI

Check Point 的AI安全報告揭露了網路罪犯如何密切追蹤主流AI應用的興起,尤其是每次新發佈的大型語言模型 (LLM)。一旦新模型公開發佈,地下論壇中的威脅行為者就會迅速評估其功能和可能的濫用途徑。

儘管這在操作上沒有什麼大問題,但隨著 DeepSeek 或 WormGPT 等開放原始碼或直接惡意製造的模型出現,它正進一步演化。這些非法模型刻意移除倫理安全措施,並公開作為駭客攻擊和惡意利用的工具銷售。

此外,它們的獲取成本非常低,使得攻擊的投資報酬率更高。

因此,AI同時推動兩者:

  • 網路釣魚攻擊成功率
  • Aaster 惡意軟體開發生命週期

從製作勒索軟體指令碼、網路釣魚工具包,到設計資訊竊取工具及生成深偽,網路犯罪分子正利用 AI 簡化行動的每個階段。

人工智慧安全風險

雖然人工智慧在許多行業中具有巨大的前景和潛在的好處,但它也可能帶來安全風險,包括:

  • 資料外洩:人工智慧模型需要大量資料進行訓練。 收集和使用這些大型資料集會帶來被攻擊者破壞的潛在風險。
  • 對抗性攻擊:將人工智慧整合到各種流程中會帶來網路攻擊者針對人工智慧的風險。 例如,攻擊者可能會嘗試破壞訓練資料或訓練對抗性人工智慧系統來識別人工智慧模型中的錯誤,從而使其被繞過或利用。
  • 偏見和歧視:人工智慧模型是基於標記的訓練資料建構的。 如果該數據包含偏差(例如主要包含特定人口群體的圖像),那麼人工智慧模型將學習相同的偏差。
  • 缺乏透明度:人工智慧可以識別趨勢並檢測複雜的關係。 然而,它的模型不透明或不可解釋,使得識別最終模型中的錯誤或偏差變得不可行。

AI如何協助防止網路攻擊?

高效能AI的普及,是推動更嚴謹、更精準的安全控制和工作流程的重要力量。因為AI可以根據其訓練的資料,以截然不同的格式實施,因此以下使用案例是根據實施AI的安全工具進行分組的。

網路安全中的AI

AI在網路安全領域的應用範圍非常廣泛,從識別可疑的外部連線到實施更嚴格的網路分段,無所不包。

自動身分探索

角色型的存取權限管控 (RBAC) 是一種根據最低權限原則實施網路安全的方式。

相較於將全面權限指派給靜態群組的個人 – 這是非常耗時且耗資源的做法 – RBAC 將特定角色與反映其工作職責的權限連結起來。然後將使用者指派給這些角色 – 自動繼承相關的權限。

例如,新員工可能會連結到「資料庫管理員」的角色:涉及的權限如下:

  • 建立與刪除資料庫
  • 備份和復原資料

這些明確的權限與「會計師」角色的權限完全不同。

AI能夠自動發現身分,進而加速角色型存取控制 (RBAC) 的普及。新的網路安全工具可以掃描各部門的登入、檔案存取和應用程式使用情況,進而建立真實員工日常存取內容的檔案。

如果系統偵測到特定群組定期存取會計軟體、處理薪資資料,並執行每月報告,它就能自動建議「財務分析師」角色。具有類似工作職能的新員工可以自動指派此角色,簡化 RBAC 入職程序。

即時威脅分類

網路安全主要由狀態防火牆主導。一種久經考驗的方法,監控企業裝置與公共網際網路之間的進出連線,自 Check Point 於 1993 年發明以來,它們一直是安全的堡壘。

然而,借助AI,防火牆能夠自動化更多威脅偵測工作流程:這既適用於進入流量,也能評估外部網站的合法性。

例如,AI支援的防火牆是根據標註流量網路資料預先訓練的。

由於AI模型在辨識和標記惡意網路活動方面變得非常熟練,防火牆可以將不同的原則違規連結成更廣泛的現實攻擊畫面。

次世代防火牆

次世代防火牆 讓此功能超越警示標籤,根據疑似攻擊類型提供自動回應功能。這可能包括:

  • 內部流量原則的自動化更新
  • 隔離與受感染子網的通訊

最後手段回應功能,例如將流量移至專用容錯移轉伺服器,必須透過教戰手冊手動加入防火牆,以確保業務連續性。

防火牆AI可以評估的不只是內部流量:視您的防火牆供應商而定,有的供應商也提供網址分類。它利用自然語言處理 (NLP) AI技術,根據安全性對網址進行分類。

危險或不當網站可以在防火牆等級封鎖,進而實現最大程度的安全保障。

零時差攻擊預防

雖然絕大多數攻擊都仰賴預先建立的攻擊媒介,但零時差脆弱性黑市的利潤非常豐厚。正因為這些脆弱性尚未有修補程式,所以才如此有價值。

(當防火牆受到攻擊時,可能會造成重大的安全問題)。

AI增強的防火牆能夠透過建立正常網路活動的基準來防禦零時差攻擊。例如,它能繪製每個使用者角色的典型資料傳輸量。如果防火牆偵測到在不尋常的時間向外部伺服器傳輸資料突然激增,它就會將該活動標示為潛在惡意活動或加以封鎖。

同樣的技術也能保護原本未修補的應用程式。

AI在端點資安的應用

安全端點現已成為企業安全不可或缺的一環。在其核心,端點偵測和回應 (EDR) 從這些端點收集詳細的遙測資料,例如:

  • 流程執行
  • 上層下層流程關係
  • 檔案互動,例如建立、修改和刪除

這些資料豐富但複雜,非常適合人工智慧分析。

基於端點的行為分析

AI可學習正常行為的樣貌,並發現可能顯示惡意活動的細微異常現象,進而啟用預測性威脅偵測。

這使得它特別擅長於發現複雜或嚴密設計的惡意軟體 (這些惡意軟體會運用混淆技術,例如程序空洞化) – 甚至當惡意程序名稱看起來合法時也能偵測。由於 EDR 會監控哪個進程與哪個檔案互動,因此當後台進程存取一般不會存取的敏感檔案時,它的人工智慧就能發現。

這種偏差允許在成功部署攻擊之前發出警報。

預測分析

由於不同類型的惡意軟體以不同方式行動,因此 EDR AI能夠識別持續攻擊中的趨勢模式,並預測哪些系統或使用者可能成為下一個攻擊目標。例如,如果懷疑帳戶接管是攻擊的根本原因,它就能檢查帳戶可能存取哪些資料庫。

若 EDR 與防火牆整合,則可自動轉換為相應的防火牆原則變更。

人工智慧如何應用於網路安全?

人工智慧擅長分析大量數據並提取趨勢或異常。 人工智慧在網路安全中的一些潛在應用程式包括:

  • 威脅偵測和回應:人工智慧識別趨勢和異常的能力非常適合檢測潛在的網路安全威脅。 例如,人工智慧可以監控網路流量並尋找流量激增或異常通訊模式,這些模式可能表明DDoS 攻擊或惡意軟體的橫向移動。
  • 使用者行為分析:人工智慧也可用於對使用者行為進行建模和異常檢測。 透過識別使用者帳戶上的異常活動,人工智慧可以幫助檢測受損帳戶或濫用使用者權限的情況。
  • 脆弱性評估: 隨著軟體脆弱性變得越來越多,脆弱性管理和修補程式管理是一個複雜且日益嚴重的問題。 人工智慧可以自動執行脆弱性掃描、分類結果,並制定補救建議以彌補已識別的安全漏洞。
  • 安全自動化:支援人工智慧的安全工具可以根據劇本自動執行常見和重複的安全任務。 這使得在發現入侵後能夠快速回應大規模網路攻擊。

AI在安全團隊工作流程中的應用

安全團隊的優劣取決於他們日常所依賴的工作流程。雖然AI已經開始在工具領域看到真正的變化,但在介面層面也正在發生進一步的變化。

多方面的風險分析

AI透過自動化整合與分析威脅資料,協助安全分析師。

由於AI可以攝取大量不同的非結構化資料 – 從記錄和網路流量到使用者活動、端點行為和威脅情資來源 –,因此能立即掌握新威脅的範圍。

與其手動篩選不同的資料集,AI可將各系統的事件關聯起來,以辨識模式、異常情況和潛在威脅。

舉例來說,人工智慧可以將這些動作拼湊起來,產生可能遭受攻擊的高風險:

  • 如果使用者從不尋常的位置登入
  • 在非正常時間存取敏感檔案
  • 啟動對不熟悉網域的對外連線

這項風險評估可以為案件分析人員提供資訊,並判斷該案件是否應該優先於其他需求。由於機器學習模型能夠根據歷史資料、組織情境和威脅指標來權衡每個事件的嚴重性,分析師能夠比以往更早一步展開調查。

在較大的團隊中,這甚至可以延伸到指派哪些分析師或經理處理事件 – 例如擁有特定 Linux 或 Microsoft 裝置專長的分析師,可以優先處理利用其專業領域的攻擊。

AI工具助理

若要充分利用您的安全團隊,就必須盡可能有效率地處理例行安全任務。為了支援這一點,部分安全工具供應商也提供基於自然語言處理的人工智慧,充當助理的角色。

載入您組織的原則、存取規則和產品文件後,安全分析師就能縮短執行安全任務所需的時間。

在安全領域利用人工智慧技術的好處

人工智慧為企業網路安全提供了巨大的潛在好處,包括:

  • 增強威脅偵測:人工智慧可以分析大量安全警報並準確識別真正的威脅。 這使得安全團隊能夠更快地偵測和回應潛在的入侵。
  • 快速事件修復:識別安全事件後,人工智慧可以根據劇本執行自動修復。 這加快並簡化了事件回應流程,降低了攻擊者對組織造成損害的能力。
  • 提高安全可見性:人工智慧可以分析大量數據並提取有用的見解和威脅情報。 這可以讓組織更了解其 IT 和安全基礎架構的當前狀態。
  • 更高的效率:人工智慧可以自動執行許多重複性和低階的 IT 任務。 這不僅減輕了IT人員的負擔,提高了效率,也保證了這些任務定期、正確地執行。
  • 持續學習:人工智慧可以在主動運作的同時不斷學習和更新其模型。 這使其能夠學習偵測和回應最新的網路威脅活動。

人工智慧安全框架

一些為管理潛在安全風險而開發的人工智慧安全框架包括:

  • 法學碩士 OWASP 前 10 名:其他 OWASP 前 10 名清單一樣,此清單確定了法學碩士最重大的安全風險以及管理這些風險的最佳實踐。
  • Google 的安全人工智慧框架 (SAIF):定義了一個六步驟流程,用於克服與實施和使用人工智慧系統相關的常見挑戰。

人工智慧安全建議和最佳實踐

實施人工智慧的一些安全最佳實踐包括:

  • 確保訓練資料品質:人工智慧的準確性和有效性取決於其訓練資料。 在建立人工智慧系統和模型時,確保標記訓練資料的正確性是關鍵。
  • 解決道德影響:由於培訓中個人資料可能存在偏見或濫用,人工智慧的使用會產生道德影響。 確保保障措施到位,以確保培訓數據完整併已獲得必要的同意。
  • 執行定期測試和更新:人工智慧模型可能會包含錯誤或隨著時間的推移而過時。 定期測試和更新對於確保人工智慧模型的準確性和可用性至關重要。
  • 實施人工智慧安全策略:網路威脅行為者可能會在攻擊中針對人工智慧系統。 實施安全策略和控制,以保護人工智慧訓練資料和模型免受潛在的利用。

透過 Check Point 探索AI安全性

Check Point 對AI安全領域的最新進展並不陌生。

As a market leader, our ThreatCloud AI collects and analyzes vast amounts of telemetry and millions of indicators of compromise (IoCs) daily. It’s the driving force behind many AI deployments, including Check Point’s own Check Point and Check Point platforms.

AI可以代表資料密集型網路安全工具的典範轉移。

但是,保持對組織內AI部署方式的完全控制至關重要。不僅 Check Point 的AI安全報告發現愈來愈多攻擊者使用AI工具進行攻擊,而且錯誤實施的AI工具本身也會構成安全風險。AI固然重要,但保持對不同AI工具部署方式的可見度和控制也同樣關鍵。

這就是 Check Point GenAI Protect 發揮用處的地方。

透過與您目前的網路相整合,它能發現您整個組織目前正在使用的AI服務。Protect 將所有AI使用案例整合到一個中央控制平台,無論是:

  • 定期使用 ChatGPT 的終端使用者
  • 在 CI/CD 管道中部署更多利基 GenAI 工具

由此,可以確保使用者與AI的互動方式,並全面掌握AI應用的相應應用程式開發介面可以存取哪些資料。這種情境感知也延伸到個人使用的提示中;例如 GenAI Protect 可以透過偵測提示中的任何機密對話資料,確保管理人員不會將公司資料暴露給 ChatGPT。

最終,GenAI Protect 允許組織在探索AI新功能的同時,仍能保持其法規安全要求。

深入瞭解 GenAI Protect,讓安全性與企業發展同步。