AI Security Risks and Threats

상위 7가지 AI 보안 위험 및 위협

AI는 사이버 보안을 비롯한 많은 산업에 혁신을 가져올 잠재력을 가지고 있습니다. 하지만 AI의 힘에는 상당한 보안 위험도 수반됩니다.

#1. 데이터 유출

AI 모델은 대량의 데이터로 학습됩니다. 이 데이터에는 AI가 감지하도록 설계된 이벤트 유형에 대한 레이블이 지정된 인스턴스가 포함됩니다. 예를 들어, 네트워크 트래픽에서 위협을 식별하도록 훈련된 AI는 정상 트래픽과 악성 트래픽의 예가 모두 포함된 훈련 데이터가 필요합니다. 이러한 교육 데이터 모음에는 조직의 고객 및 비즈니스에 대한 민감한 정보가 포함될 수 있습니다. 이 데이터를 저장하고 사용하여 AI를 학습시키면 공격자에 의해 침해될 위험이 있습니다.

#2. 적대적 공격

AI 시스템은 특정 목표를 달성하는 데 유용한 모델을 개발하도록 학습됩니다. 예를 들어, 네트워크 트래픽에서 정상 파일과 잠재적인 멀웨어를 구분하도록 AI 시스템을 학습시킬 수 있습니다.

사이버 공격자는 자체 AI 시스템을 학습시켜 방어 시스템을 학습시키려고 시도할 수 있습니다. 이를 통해 공격자는 AI 모델의 빈틈을 발견하여 AI 시스템을 통과할 수 있는 방법을 파악할 수 있습니다.

#3. 데이터 조작 및 데이터 중독

데이터 조작 및 포이즈닝 공격은 AI 모델 학습에 사용되는 레이블이 지정된 데이터를 대상으로 합니다. 공격자는 이 데이터 수집에 라벨이 잘못 지정된 인스턴스를 추가로 도입합니다. 이러한 공격의 목표는 AI의 모델을 잘못 학습시키는 것입니다. 학습 데이터 세트에 양성으로 분류된 공격 트래픽이 있는 경우 AI 모델은 해당 공격을 인식하지 못합니다. 따라서 공격자는 AI 시스템이 배포된 후 이를 통과할 수 있는 기회를 얻게 됩니다.

#4. 편견과 차별

AI 모델은 학습 데이터만큼만 우수합니다. AI 모델은 레이블이 지정된 많은 입력을 제시하고 원하는 출력을 생성하는 모델을 구축하도록 함으로써 학습됩니다. 이 접근 방식의 문제점은 편향된 학습 데이터가 편향된 AI 모델을 생성한다는 것입니다. 가장 일반적인 예는 얼굴 인식 시스템이 주로 특정 인구 집단에 속하는 사람들의 이미지로 학습된다는 사실입니다. 종종 이러한 시스템은 훈련 데이터 세트가 대표하는 인구통계학적 그룹을 벗어난 사람들에게 훨씬 더 높은 오류율을 보입니다.

#5. 투명성 부족

AI는 데이터 내의 패턴, 트렌드, 관계를 파악하는 데 매우 적합합니다. AI를 학습시킨 후 모델은 이러한 트렌드를 반영하고 이러한 패턴을 기반으로 의사 결정과 식별을 할 수 있게 됩니다. 그러나 AI 시스템에서 사용하는 모델은 투명하지도 해석할 수도 없습니다. 따라서 AI 모델에 손상된 학습 데이터 세트에 의한 편향이나 오류가 포함되어 있는지 여부를 판단하는 것은 불가능합니다.

#6. 자동화된 멀웨어 생성

ChatGPT 및 이와 유사한 도구는 이미 프로그래밍에 대해 일정 수준의 숙련도를 입증했습니다. GenAI가 작성한 코드에는 오류가 있을 수 있지만, 코드 개발 프로세스를 가속화하고 정교한 앱을 개발할 수 있습니다. GenAI 도구에는 멀웨어 작성에 대한 보호 기능이 있지만, 이러한 보호 장치에는 종종 이를 우회할 수 있는 허점이 있습니다. GenAI는 덜 정교한 위협 행위자도 지능형 멀웨어를 개발할 수 있으며, 그 기능은 앞으로 더욱 발전할 것입니다.

#7. 공급망 공격 모델

AI 모델 학습은 복잡한 과제입니다. 조직은 레이블이 지정된 대규모 데이터 코퍼스를 수집하여 AI 모델을 학습시키는 데 사용해야 합니다. 이를 위해서는 데이터에 대한 접근성과 머신 러닝 및 데이터 과학에 대한 전문 지식이 모두 필요합니다. 그 결과 많은 조직에서 타사에서 개발하고 학습한 AI 모델을 사용하게 됩니다. 그러나 이는 공격자가 모델을 개발하는 조직을 표적으로 삼아 악성 학습 데이터를 주입하거나 모델을 손상시키기 위한 다른 조치를 취할 위험이 있습니다.

Zero Trust Networks with the Infinity Platform

The introduction of LLMs and GenAI makes implementing a zero-trust security architecture more important than ever. At the same time, the capabilities of these systems also dramatically complicate zero-trust implementations and make ZTAI essential.
Implementing ZTAI can be complex and requires granular visibility and control over all actions performed by LLM-integrated applications within an organization’s environment. Check Point’s Infinity Platform offers the tools that your organization needs to implement effective zero-trust in the age of AI, including GenAI security for safe GenAI adoption in the enterprise and integrated AI capabilities for advanced threat prevention and response.