GraphRAG 에이전트의 품질과 안전성을 Azure AI Evaluation SDK와 Foundry로 체계적으로 측정하고 검증하는 평가 파이프라인 구축 방법을 설명합니다

Context

기존 GraphRAG 시스템은 기능 데모 수준으로 동작 검증만 가능했고, 프로덕션 환경에서 변경 사항이 동작에 미치는 영향이나 안전성 증거를 체계적으로 수집할 수 없었습니다. AI 엔지니어는 답변 품질만으로는 시스템 신뢰성을 증명할 수 없으며, 반복 가능한 품질 검사, 보안 컴플라이언스 검토용 안전성 증거, 변경 후 동작 추적ability가 필요합니다.

Technical Solution

• 평가 대상 → 평가 모듈 구조를 src/evaluation 디렉토리에 구성하여 품질, 안전성, 관측ability 세 가지 목표를 분리하고 관리합니다
• 내장 평가기 → TaskAdherenceEvaluator, IntentResolutionEvaluator, RelevanceEvaluator, CoherenceEvaluator, ResponseCompletenessEvaluator를 run_batch_evaluation.py로 일괄 실행합니다
• 커스텀 그래프 평가기 → EntityAccuracyEvaluator와 RelationshipValidityEvaluator로 지식 그래프 기반 응답의 정확성을 검증합니다
• 레드팀 스캔 → run_redteam.py로 위험 카테고리별 공격 결과를 산출하고 안전성 증거를 생성합니다
• Azure AI Foundry 통합 → --foundry 옵션으로 품질 실행 결과를 대시보드에 게시하여 팀 간 공유可视화를 활성화합니다

Impact

품질 스냅샷에서 태스크 충실도가 80%를 달성했으며, 기타 품질 신호는 100%를 달성했습니다. 토큰 사용량은 프롬프트 85,686개, 완료 5,048개로 측정되었습니다. 테스트 커버리지가 63개로 확장되어 모듈 신뢰성이 강화되었습니다.

Key Takeaway

에이전트 품질은 단일 점수가 아니라 품질, 안전성, 추적ability를 함께 확보해야 하며, 내장 평가기와 커스텀 그래프 평가기는 서로 다른 문제를 해결하므로 결합된 게이트로 활용해야 합니다.