Reverse-RAG 기반 10,000개 Synthetic Prompt 자동화 테스트 체계 구축

Context

LLM의 Non-deterministic 특성으로 인해 기존의 Deterministic QA 방식으로는 엣지 케이스 대응에 한계 직면. 사람이 생성하는 테스트 시나리오의 물리적 한계를 극복하기 위해 생산 데이터 기반의 자동화된 테스트 환경 필요성 대두.

Technical Solution

• Production 데이터에서 PII를 제거한 후 Amazon Bedrock을 통해 hyper-realistic한 Synthetic Persona 및 Prompt를 생성하는 Reverse-RAG 구조 설계
• S3에 저장된 대규모 테스트 셋을 AWS Step Functions의 Distributed Map으로 처리하여 수백 개의 Lambda를 동시 실행하는 Fan-out 구조 채택
• Staging API Gateway에 가상 유저 스웜을 투입하여 Semantic Quality와 인프라 Scaling 성능을 동시에 검증하는 통합 테스트 수행
• LLM-as-a-Judge 패턴을 도입하여 응답의 환각 여부와 포맷 정확도를 자동 평가하고 설정된 임계값 초과 시 CI/CD 파이프라인을 차단하는 Gatekeeper 메커니즘 구현
• 비용 최적화를 위해 Feature Branch에서는 샘플링 테스트를 수행하고 Main Branch 배포 시에만 전체 Swarm 테스트를 실행하는 Tiered Testing 전략 적용