ACI와 Rolling Window 결합으로 Drift 상황 내 Coverage 35%→90% 복구

Conformal prediction silently breaks under drift - and how to make it hold

Whatsonyourmind2026년 6월 17일5분advanced

AI 요약

Context

분포 가정이 없는 Conformal Prediction의 Coverage 보장 기능이 실서비스의 Data Drift 상황에서 무력화되는 문제 분석. Exchangeability 가정이 깨지며 Prediction Interval이 과하게 좁아져 실제 Coverage가 타겟 수치보다 급격히 낮아지는 현상 발생.

Technical Solution

Score Scale의 최신성 유지를 위한 Rolling Window 방식 도입으로 현재 데이터 분포의 척도 반영
Target Miscoverage를 제어 변수로 설정한 ACI(Adaptive Conformal Inference) 피드백 루프 설계
예측 오차 발생 시 $\alpha_t$를 조정하여 다음 Interval의 너비를 동적으로 확장하는 Self-correction 구조 구현
Score 정규화(|y − ŷ| / $\hat{\sigma}(x)$) 또는 CQR 적용을 통한 Marginal Coverage에서 Conditional Coverage로의 전환 설계
Drift 속도에 맞춘 $\gamma$ 파라미터 튜닝으로 Interval 너비의 변동성과 추적 속도 간 Trade-off 최적화

실천 포인트

1. Data Drift가 예상되는 환경에서 고정된 Calibration Set 사용 지양

2. Rolling Empirical Coverage를 모델 불가지론적 Drift 탐지 지표로 활용

3. ACI 도입 시 $\gamma$ 값을

0.01~

0.05 범위에서 설정하여 추적 성능 검증

4. 단순 너비 고정이 아닌 데이터 노이즈에 대응하는 Conditional Coverage 설계 검토

태그

#Adaptive Conformal Inference #Feedback Loop #Conditional Coverage #Conformal Prediction #Data Drift

원문 읽기