OWASP Top 10 기반 Agentic AI 보안 벤치마크 AgentThreatBench 공개

Context

기존 LLM 평가 체계가 단순 입출력 기반의 Prompt-Level 검증에 치중하여 외부 환경과 상호작용하는 Agent의 취약점 분석에 한계 노출. 특히 RAG 문서나 API 응답 등 외부 데이터에 포함된 Indirect Prompt Injection을 통한 Goal Hijacking 위험 증가.

Technical Solution

• Inspect AI 프레임워크 기반의 실행 가능한 보안 태스크 구현으로 OWASP Agentic Top 10 표준 구체화
• Memory Poisoning 시나리오 설계를 통한 Append-style 및 Replacement-style 공격 대응력 검증
• Autonomy Hijack 구조 설계를 통한 도구 호출 결과값 내 악성 페이로드의 실행 여부 측정
• Data Exfiltration 시나리오를 통한 민감 정보의 비인가 Third-party 유출 경로 차단 검증
• Utility와 Security를 동시에 측정하는 Dual-Metric Scoring 도입으로 과잉 거부(Over-refuse)와 취약성 간의 Trade-off 분석