Stateless Prompt Injection에서 Stateful Memory Poisoning으로의 공격 패러다임 전환

Prompt Injection Was Stateless. Memory Poisoning Is Persistence

Maninderpreet Singh2026년 5월 1일10분advanced

AI 요약

Context

기존 AI 보안은 단일 세션 내에서 발생하는 Stateless Prompt Injection 방어에 집중함. 그러나 Agent의 유용성 증대를 위해 도입된 장기 기억(Long-term Memory) 구조가 새로운 Persistent 공격 표면을 생성하며 보안 경계가 세션 단위에서 시간 축으로 확장됨.

Technical Solution

신뢰된 메모리 영역에 악성 지시사항을 주입하여 미래의 의사결정에 지속적으로 영향을 주는 Memory Poisoning 구조 분석
사용자 선호도(Preferences) 조작을 통한 하위 작업(Downstream Tasks)의 기본 동작 제어 방식 식별
대화 이력을 요약하는 과정에서 악성 컨텍스트가 압축된 Narrative 형태로 저장되어 검출을 회피하는 메커니즘 파악
과거의 성공 경로(Successful Trajectories)를 학습하는 Experience Memory를 오염시켜 잘못된 워크플로우를 정답으로 인식하게 하는 경로 분석
Vector Database 및 Semantic Cache 등 외부 메모리 레이어를 통한 지속적 데이터 오염 경로 정의

실천 포인트

1. 고영향 메모리(권한, 승인, 신뢰 소스 관련) 저장 시 인간의 검토를 거치는 Review Gate 도입 여부 확인

2. Agent의 행동 패턴이 시간에 따라 특정 방향으로 편향되는지 감시하는 Behavioral Monitoring 체계 구축

3. 저장된 메모리의 생성 주체(User, Agent, System)를 추적할 수 있는 Lineage 및 Provenance 기록 설계

4. 사용자가 직접 메모리를 조회하고 수정 및 삭제할 수 있는 투명한 Memory Management 인터페이스 제공

태그

#AI Agent #Prompt Injection #Memory Poisoning #RAG #Stateful Compromise

원문 읽기