피드로 돌아가기
Dev.toAI/ML
원문 읽기
SuSiE 95% 신뢰 구간의 정밀 검증 및 Abstention 메커니즘 분석
When SuSiE Says '95% Confident', Is It?
AI 요약
Context
GWAS 데이터의 Fine-mapping 과정에서 SuSiE가 제공하는 95% Credible Set의 실제 신뢰도를 검증할 방법이 부재함. 실제 데이터에서는 Ground Truth를 알 수 없으므로 모델이 주장하는 확률적 확신(Confidence)의 정직함을 측정할 체계적인 벤치마크가 필요함.
Technical Solution
- 현실적인 Linkage Disequilibrium(LD) 구조를 반영한 Simulation Harness를 구축하여 Ground Truth가 확보된 테스트 환경 조성
- Mock Fine-mapper를 통한 Coverage 측정 지표의 유효성 검증 단계(Unit Test)를 거쳐 벤치마크 자체의 신뢰성 확보
susie_get_cs함수 호출 시 LD Matrix(Xcorr)를 명시적으로 전달하여 uncorrelated noise를 제거하는 Purity Filter 활성화- 정답 포함 여부(Coverage)와 응답 거부율(Abstention)을 동시에 측정하여 난이도 상승에 따른 모델 행태 분석
- 단순 정확도가 아닌 모델이 자신의 한계를 인지하고 답을 내지 않는 Abstention 메커니즘의 작동 원리 규명
실천 포인트
모델의 Confidence Score가 실제 정밀도(Precision)와 일치하는지 Simulation을 통해 검증하고, 불확실성이 높은 데이터에 대해 잘못된 답보다 '모름(Abstention)'을 반환하는 설계인지 확인하십시오.