R²=0 모델에서도 90% Coverage 보장하는 Conformal Prediction

A model with R-squared near 0 can still give valid 90% prediction intervals - here's why (and the catch)

Whatsonyourmind2026년 6월 17일5분intermediate

AI 요약

Context

모델의 예측 정확도(Accuracy)가 낮으면 불확실성 추정(Uncertainty Estimation) 또한 신뢰할 수 없다는 일반적인 엔지니어링 편견 존재. 특히 R-squared가 낮은 모델에서 예측 구간(Prediction Interval)의 유효성을 확보하는 것이 주요 과제임.

Technical Solution

Split Conformal Prediction 도입을 통한 Distribution-free 및 Finite-sample Marginal Coverage 보장
모델을 Black-box로 처리하여 모델 성능과 관계없이 Calibration set의 절대 잔차(Absolute Residuals)를 이용한 Quantile 산출
산출된 Quantile을 예측값의 Half-width로 설정하여 타겟 Coverage(1-α)를 강제하는 구조 설계
예측 정확도(Accuracy)를 Interval의 유효성(Validity)이 아닌 효율성(Efficiency, 구간 너비)의 결정 요소로 정의
Marginal Coverage의 한계를 극복하기 위해 Subgroup별 별도 Quantile을 산출하는 Mondrian/Group-conditional 방식 제안
Distribution Drift로 인한 Exchangeability 가설 붕괴를 가장 위험한 Failure mode로 정의

실천 포인트

1. 예측 구간 설정 시 모델의 R² 값보다 Calibration set의 Exchangeability 여부를 우선 검토할 것

2. 전체 평균(Marginal) Coverage 수치에 의존하지 말고, 실제 의사결정 단위인 Subgroup별 Conditional Coverage를 반드시 측정할 것

3. 구간 너비가 지나치게 넓어 실효성이 낮다면 모델 아키텍처 개선을 통한 Efficiency 확보 전략을 수립할 것

태그

#Uncertainty Estimation #Calibration #Conformal Prediction #Marginal Coverage #Exchangeability

원문 읽기