AI Security Risks and Threats

AI セキュリティリスクと脅威トップ 7

AI は、サイバーセキュリティを含む多くの業界に革命を起こす可能性を秘めています。 しかし、AI の力には重大なセキュリティ リスクも伴います。

#1. データ侵害

AI モデルは大量のデータでトレーニングされます。 このデータには、AI が検出するように設計されたイベントの種類のラベル付きインスタンスが含まれます。 たとえば、ネットワーク トラフィック内の脅威を識別するようにトレーニングされた AI には、通常のトラフィックと悪意のあるトラフィックの両方の例を含むトレーニング データが必要です。 これらのトレーニング データのコレクションには、組織の顧客とビジネスに関する機密情報が含まれる場合があります。 このデータを保存して AI のトレーニングに使用すると、攻撃者によって侵害されるリスクがあります。

#2.敵対的攻撃

AI システムは、特定の目標を達成するのに役立つモデルを開発するようにトレーニングされます。 たとえば、AI システムは、ネットワーク トラフィック内の無害なファイルと潜在的なマルウェアを区別するように学習できます。

サイバー攻撃者は、防御システムのモデルを学習するために、独自の AI システムをトレーニングしようとする可能性があります。 これにより、攻撃者はモデルのギャップを発見して AI システムをすり抜けて攻撃する手段を特定できる可能性があります。

#3. データ操作とデータポイズニング

データ操作およびデータ汚染攻撃は、AI モデルのトレーニングに使用されるラベル付きデータをターゲットとします。 攻撃者は、このデータのコレクションに、誤ったラベル付けのインスタンスを追加で導入します。 これらの攻撃の目的は、AI モデルを誤ってトレーニングすることです。 トレーニング データセットに無害とラベル付けされた攻撃トラフィックが含まれている場合、AI モデルはそれらの攻撃を認識しません。 これにより、攻撃者は AI システムが展開された後、それをすり抜ける機会を得ることができます。

#4.偏見と差別

AI モデルの良し悪しは、トレーニング データによって決まります。 AI モデルは、多数のラベル付き入力を提示し、目的の出力を生成するモデルを構築できるようにすることでトレーニングされます。 このアプローチの問題点は、偏ったトレーニング データによって偏った AI モデルが生成されることです。 この最も一般的な例は、顔認識システムが主に特定の人口統計グループの人々の画像でトレーニングされているという事実です。 多くの場合、これらのシステムは、トレーニング データセットで表される人口統計グループ以外の人々のエラー率がはるかに高くなります。

#5.透明性の欠如

AI は、データ内のパターン、傾向、関係性を識別するのに適しています。 AI をトレーニングすると、そのモデルはこれらの傾向を反映し、これらのパターンに基づいて決定や識別を行うことができるようになります。 しかし、AI システムで使用されるモデルは透明性や解釈性に欠けています。 これにより、AI モデルに、破損したトレーニング データセットによってもたらされるようなバイアスやエラーが含まれているかどうかを判断することが不可能になります。

#6. マルウェアの自動生成

ChatGPTなどのツールは、すでにある程度のプログラミング能力を示しています。 GenAIによって記述されたコードにはエラーがあるかもしれませんが、コード開発プロセスを迅速化し、洗練されたアプリを開発できます。 GenAI ツールにはマルウェアの作成に対する保護機能が備わっていますが、これらのガードレールには回避できる抜け穴が存在することがよくあります。 GenAI により、それほど洗練されていない脅威アクターでも高度なマルウェアを開発できるようになり、その機能は今後さらに拡大するでしょう。

#7.サプライチェーン攻撃のモデル化

AI モデルのトレーニングは複雑な課題です。 組織は、ラベル付けされたデータの大規模なコーパスを収集し、それを使用して AI モデルをトレーニングする必要があります。 これには、データへのアクセスと、機械学習とデータ サイエンスの専門知識の両方が必要です。 その結果、多くの組織はサードパーティによって開発およびトレーニングされた AI モデルを使用することになります。 ただし、これにより、攻撃者がモデルを開発している組織を標的にし、悪意のあるトレーニング データを挿入したり、モデルを破壊するその他の手順を実行したりするリスクが生じます。

Zero Trust Networks with the Infinity Platform

The introduction of LLMs and GenAI makes implementing a zero-trust security architecture more important than ever. At the same time, the capabilities of these systems also dramatically complicate zero-trust implementations and make ZTAI essential.
Implementing ZTAI can be complex and requires granular visibility and control over all actions performed by LLM-integrated applications within an organization’s environment. Check Point’s Infinity Platform offers the tools that your organization needs to implement effective zero-trust in the age of AI, including GenAI security for safe GenAI adoption in the enterprise and integrated AI capabilities for advanced threat prevention and response.