9개 AI 에이전트 프레임워크가 프롬프트 인젝션 탐지, 위험 행위 차단, 감사 로깅 전부 실패

Context

현재 AI 에이전트 프레임워크는 런타임 보안 검증 기능이 전혀 없다. LangChain, LlamaIndex, CrewAI, AutoGen, OpenAI SDK, Anthropic SDK, Google GenAI, Smolagents, AWS Bedrock 등 9개 프레임워크 전부가 프롬프트 인젝션 탐지, 위험 행위 차단, 감사 로깅에서 모두 실패했다. 개발자는 프레임워크가 보안을 처리할 것이라 가정하고, 프레임워크는 개발자가 가드레일을 추가할 것이라 가정한다.

Technical Solution

• 프롬프트 인젝션 탐지를 위해 user input이 LLM에 도달하기 전에 정규표현식 기반 스캐너로 역할 탈취, 명령어 오버라이드, 구분자 공격, base64 난독화 패턴을 검사한다.
• 에이전트가 Shell 실행 도구를 호출하기 전에 실행 대상 명령어를 정책 규칙으로 검증한다. Shell 실행은 차단하고 검색 기능은 자동 허용하는 방식이다.
• 도구 호출 이력, 인자값, LLM 추론 과정을 감사 로그로 기록한다. 프로덕션 환경에서 예기치 않은 동작 발생 시 원인 분석이 가능해야 한다.

Impact

정규표현식 기반 스캐너로 프롬프트 인젝션 시도의 약 80%를 탐지할 수 있다.

Key Takeaway

프레임워크, LLM 제공업체, 개발자 중 누구도 보안을 책임지지 않는 상황이다. 웹 프레임워크가 10년 전에 미들웨어와 요청 로깅으로 해결한 문제를 AI 에이전트 프레임워크는 아직 해결하지 못했다.