프롬프트 튜닝 대신 '10개의 Golden Case'로 완성하는 AI 에이전트 운영 전략

Context

LLM의 확률적 특성으로 인한 출력 변동성이 운영 환경의 리스크로 작용. 대부분의 실패 원인은 규칙 위반보다 필수 근거 누락에서 발생. 프롬프트 수정만으로는 테스트 불가능한 'Vibe-driven' 최적화의 한계 직면.

Technical Solution

• LLM은 제안서(Proposal)를 생성하고 Verifier가 결정론적으로 승인·거절·강등(ACCEPT/REJECT/DEGRADE)을 판정하는 역할 분리 설계
• LLM 출력값이 아닌 Verifier의 최종 판정 결과(Verdict)를 고정하는 Golden Case 기반의 검증 체계 도입
• 단순 거절(REJECT) 외에 누락된 근거를 기계가 읽을 수 있는 경로(Path) 형태로 반환하는 DEGRADE 상태 정의
• ACCEPT(3건), DEGRADE(4건), REJECT(3건)로 구성된 최소 10개의 핵심 패턴을 정의하여 운영 골격 구축
• DEGRADE 로그에서 반복되는 누락 패턴을 추출해 Golden Case에 추가하는 지속적 확장 루프 구현
• Verifier가 LLM의 제안을 실행 가능한 안전한 계획으로 변환하는 normalization 과정 강제

Key Takeaway

AI 에이전트의 신뢰성은 모델의 생성 능력이 아니라 결정론적인 검증기(Verifier)의 정밀도와 테스트 케이스의 밀도에서 결정됨.