LLM을 프로덕션 파이프라인에 연결한 팀이 4단계 검증 레이어(스키마 검증, 신뢰도 게이팅, 크로스 레퍼런스, 프리쉽 테스트)를 도입해 환각 출력의 다운스트림 전파 방지

Context

LLM은 확률 기반으로 작동하며 출력 정확성을 검증하지 않아서 잘못된 정보를 신뢰할 수 있는 형식으로 생성한다. 프로덕션 파이프라인은 일반적으로 LLM 출력에 대한 검증 계약이 없고, 10개 샘플 테스트 통과 후 배포하면 엣지 케이스와 비영어 입력에서 환각이 발생해 CRM 데이터 손상, 리드 오분류, 잘못된 개인화 이메일 발송 같은 실제 비즈니스 피해를 야기한다.

Technical Solution

• Layer 1 스키마 검증: JSON mode 또는 함수 호출로 구조화된 출력 계약을 강제하고, Ajv 같은 JSON 스키마 검증기로 필드 존재 여부와 타입 제약을 검사해 실패 시 재시도 큐로 라우팅
• Layer 2 신뢰도 게이팅: logprob이 노출된 모델(GPT-4 API)의 경우 logprob을 신뢰도 지표로 사용하거나, logprob 미지원 시 temperature > 0으로 동일 프롬프트 3회 호출해 출력 일치도 확인(2/3 미만 일치시 인간 검토 큐로 라우팅)
• Layer 3 크로스 레퍼런스 검증: 회사명 출력은 기존 레코드와 대조, 매출·인원 같은 숫자 출력은 알려진 유효 범위에 대한 건전성 검사 실행 후 CRM·데이터베이스 쓰기 진행
• Layer 4 프리쉽 테스트: Apify 무료 티어로 20개 항목 검증 테스트 세트 구성하고 모든 배포 전 파이프라인 실행, 검증 오류율이 임계값 초과 시 배포 차단
• 프로덕션 모니터링: 스키마 위반율(출력 검증 실패 비율), 인간 검토 큐 라우팅율(신뢰도 부족), 다운스트림 null/오류율(상위 계층 출력 형식 오류) 3가지 지표에 경고 설정

Impact

프리쉽 검증 테스트 세트 구성 비용 $0(공개 데이터 + Apify 무료 티어)이고, 스키마 검증기·신뢰도 게이팅·인간 검토 라우팅 경로 추가에 몇 시간 소요되는 것으로 제시되었다.

Key Takeaway

LLM 환각을 완전히 제거할 수 없으므로 검증 레이어로 다운스트림 전파를 차단하는 것이 핵심이다. 프로덕션 데이터 손상의 무음적 확산(silent data corruption)이 없는 출력 계약이 설계 원칙이다.