JSON Rubric 기반 Self-Eval 루프를 통한 Agent 출력 정밀도 제어

Claude Result Loops + Rubrics: 5 Self-Eval Patterns for Production Agents

RAXXO Studios2026년 5월 12일10분intermediate

AI 요약

Context

LLM Agent의 출력물을 사람이 직접 리뷰해야 하는 병목 현상 발생. 단순 프롬프트 제어만으로는 정량적 기준(글자 수, 테스트 통과 여부 등)을 일관되게 충족시키기 어려운 한계 존재.

출력물 검증을 위한 JSON Rubric 기반의 자동 피드백 루프 설계
Deterministic Checker(Regex, Structural, Shell Command)와 Probabilistic Checker(LLM Judge)를 혼합한 다층 검증 구조 채택
루프 탈출 조건으로 Threshold와 Max Iterations를 설정하여 무한 루프 및 비용 폭증 방지
검증 실패 시 루브릭 피드백을 다시 Agent에게 전달하여 자가 수정(Self-Correction)을 유도하는 재귀적 프로세스 구현
정적 검사(Lint, Type Check)를 루브릭에 통합하여 Human Review 전 단계에서 컴파일 오류를 사전 차단하는 Gatekeeper 아키텍처 적용

실천 포인트

1. 루브릭 Threshold를

0.8~

0.85 수준으로 설정하여 과도한 루프 방지

2. Max Iterations를 2~3회로 제한하여 모델의 편법 대응 방지

3. 정규식 및 쉘 명령어로 처리 가능한 검증을 우선 배치하여 LLM Judge 비용 최적화

4. Retry Rate가 30%를 초과할 경우 루브릭의 엄격도 완화 또는 Agent 성능 개선 검토

태그