Autoevals 기반 Deterministic CI Gate 구축으로 LLM 비즈니스 로직 회귀 방지

Context

LLM 출력의 비결정적 특성으로 인해 기존 Unit Test로는 비즈니스 의미의 변질이나 스키마 붕괴를 감지하기 어려운 한계 존재. 단순한 JSON 파싱 성공 여부가 아닌, 실제 비즈니스 액션의 정확성을 검증하는 엔지니어링 인프라의 필요성 증대.

Technical Solution

• ValidJSON 스코어를 통한 JSON Shape 및 스키마 준수 여부의 1차 검증
• ExactMatch 스코어를 활용하여 Enum 필드 및 라우팅 결정 등 제약된 출력값의 일치 여부 확인
• 비즈니스 크리티컬 케이스를 포함한 소규모 고정 데이터셋 기반의 Offline Evaluation 워크플로우 설계
• 개별 스코어의 평균값이 1.0 미만일 경우 Process Exit Code 1을 반환하는 엄격한 CI Gate 구현
• LLM-as-judge 방식 이전에 Deterministic Scorer를 우선 배치하여 평가 비용 감소 및 검증 신뢰도 확보
• Observability 도구와 별개로 배포 전 Regression을 차단하는 독립적 검증 레이어 구축