What is a Prompt Injection Attack?

프롬프트 인젝션 공격이란 무엇인가요?

대규모 언어 모델(LLM)은 매우 큰 텍스트 데이터 세트를 학습한 AI 모델입니다.

그 결과, 단어의 의미를 서로 연관시켜 매핑할 수 있으므로 문장에서 다음에 나올 가능성이 가장 높은 단어를 예측할 수 있습니다. 초기 모델을 구성한 후에는 개발자가 자연어 프롬프트를 통해 상호 작용하고 LLM을 조정하는 방식으로 미세 조정할 수 있습니다.

그 후 사용자가 앱에 참여할 때마다 사용자의 입력이 개발자의 시스템 프롬프트와 결합되어 통합된 명령으로 LLM에 전달됩니다.

프롬프트 주입이 시작되는 곳

이 아키텍처는 프롬프트 인젝션이라는 취약성을 도입합니다. 시스템 프롬프트와 사용자 입력은 모두 일반 텍스트로 수집되기 때문에 LLM이 이를 구분하기가 매우 어렵습니다.

공격자가 시스템 프롬프트를 모방한 악성 입력을 만들면 LLM이 이를 유효한 명령으로 잘못 해석하여 개발자가 의도한 제어를 우회하고 공격자의 명령을 실행할 수 있습니다. 즉각적인 인젝션 공격에 성공하면 공격자는 AI 모델이 노골적인 잘못된 정보부터 다른 사용자의 개인 데이터 검색까지 의도한 범위를 벗어난 정보를 반환하도록 할 수 있습니다.

당연히 GenAI 모델이 일상적인 워크플로우에 점점 더 깊숙이 자리 잡으면서 이에 대한 우려의 목소리가 높아지고 있습니다.

프롬프트 인젝션 공격을 방지하는 방법

고객 경험을 업그레이드하고 내부 정보를 직원에게 적시에 제공하는 데 점점 더 집중하고 있는 LLM의 성공에 있어 가장 중요한 요소 중 하나는 LLM 응답의 정확성입니다. 따라서 신속한 인젝션의 위험은 LLM 배포 전반에 걸쳐 관리해야 합니다.

더 큰 문제는 기존의 데이터 유출 방지 접근 방식이 LLM이 처리하는 핵심 데이터인 비정형 데이터를 보호하는 데 적합하지 않다는 점입니다.

따라서 다음과 같은 전략을 통해 즉각적인 주입의 위험에 대처할 수 있습니다.

프롬프트 레이어링 전략 구현

무결성 검사 역할을 하는 여러 계층의 시스템 프롬프트를 도입하여 주입된 명령어가 기본 처리 로직에 도달하기 전에 필터링되도록 합니다. 이러한 계층화된 접근 방식은 프롬프트가 다양한 무결성 게이트를 통과하도록 하여 성공적인 인젝션의 가능성을 줄여줍니다.

프롬프트 세분화 사용

엄격한 컨텍스트 관리를 통해 프롬프트를 격리된 세그먼트로 세분화하세요. 주요 시스템 명령을 손댈 수 없는 별도의 레이어에 보관하여 사용자 입력으로 인한 명령이 핵심 로직을 수정할 수 없도록 합니다.

세분화는 복잡한 시나리오에서 단일 프롬프트가 조작되는 것을 방지하는 데 도움이 됩니다.

AI 기반 이상 징후 탐지 배포

머신 러닝 모델은 프롬프트 주입 패턴을 감지하는 데 사용됩니다.

정상적인 입출력 패턴에 대해 보조 모델을 학습하면 즉각적인 인젝션 공격을 나타낼 수 있는 비정상적인 상호 작용이나 모델 동작의 편차를 포착할 수 있습니다.

즉각적인 무결성을 위한 암호화 서명 활용

암호화 서명 또는 해싱 방법을 적용하여 시스템에서 생성된 프롬프트의 무결성을 보장합니다.

최종 프롬프트를 처리하기 전에 서명의 유효성을 검사하여 악의적인 사용자가 서명을 변조한 부분이 없는지 확인합니다.

동적 프롬프트 템플릿 적용

정적 템플릿은 예측이 어렵고 악용하기 쉬우므로 LLM 애플리케이션에서 사용하지 마세요.

세션 컨텍스트 또는 사용자 역할에 따라 달라지는 동적으로 생성된 템플릿을 사용하면 공격자가 일반화된 인젝션 프롬프트를 만들기가 더 어려워집니다.