재현 가능한 evidenceSnapshot 도입을 통한 AI PR 검증 신뢰성 확보

CI gates for AI-generated PRs need re-derivable evidence

JinHyuk Sung2026년 6월 21일3분intermediate

AI 요약

Context

AI 생성 PR의 CI gate 통과 여부를 판단할 때 단순 findingId만으로는 결과 도출 근거를 사후 검증하기 어려운 한계 존재. 특히 결정론적(Deterministic) 검증 결과에 대한 제3자의 재현 가능성과 투명성 확보가 필수적인 상황.

findingId와 evidenceSnapshot의 분리를 통한 감사 추적성(Auditability) 강화
Mutable한 타임스탬프 및 커밋 SHA를 배제하고 Rule ID, Severity, Path 등 불변의 정적 데이터만 Snapshot에 포함하는 설계
LLM 런타임 호출 및 레포지토리 스크립트 실행을 배제한 Deterministic Merge Evidence 체크 방식 채택
'Warn mode'에서 'Merge gate'로의 점진적 전환을 가능케 하는 재현 가능 증거 기반의 신뢰도 튜닝 구조 설계
JSON 및 Markdown 리포트를 통한 상세 증거 제공과 Compact Log를 통한 가독성 유지의 이원화 전략

실천 포인트

1. CI Gate 설계 시 결과값과 별개로 판단 근거가 되는 Snapshot 데이터를 저장하고 있는가?

2. Snapshot 데이터에 시간, 순서 등 가변적인(Mutable) 정보가 섞여 재현성을 해치고 있지는 않은가?

3. 새로운 검증 룰 도입 시 즉시 Blocking 하지 않고 Warn mode를 통해 노이즈를 측정하는 단계를 거치고 있는가?

태그