Golden Dataset 기반의 RAG 품질 정량화 및 CI 자동화 체계 구축

Context

모델 업데이트나 프롬프트 수정 시 발생하는 AI 응답 품질의 silent drift 문제 분석. 런타임 에러 없이 품질만 하락하는 특성으로 인해 주관적 판단이 아닌 정량적 측정 체계의 필요성 대두.

Technical Solution

• Golden Dataset 도입을 통한 기대 결과값 정의 및 AI 거동의 Regression Test 가능 구조 설계
• Precision@k, Recall@k, MRR, NDCG 등 검색 엔진 평가지표를 활용한 Retrieval 품질의 수치화
• Answer-Context Overlap 휴리스틱을 통한 생성 답변의 근거 기반 적합성 검증
• Rolling Window 기반의 실시간 품질 스코어링 시스템을 통한 운영 환경의 품질 모니터링
• reportEvalForCi API를 연동한 CI 파이프라인 내 품질 임계치 기반의 자동 Pass/Fail 게이트 구축
• Vector Store(Qdrant)와 연동하여 실제 프로덕션 인덱스 기반의 실시간 평가 루프 구성