피드로 돌아가기
Dev.toAI/ML
원문 읽기
1,940만 개 Price Snapshot 기반 Polymarket Calibration 분석 시스템 구축
When Polymarket says 70%, does it happen 70% of the time? I checked against 19.4M price snapshots.
AI 요약
Context
예측 시장의 가격이 실제 발생 확률을 정확히 반영하는지에 대한 Calibration 검증 필요성 증대. 기존 데이터셋의 Ground-truth Label 부재로 인해 확률적 예측 모델의 성능을 정량적으로 측정하기 어려운 한계 존재.
Technical Solution
- 15분 간격의 정기적 폴링을 통한 1,940만 건의 Price Snapshot 및 Order-book 데이터 파이프라인 구축
- Market Resolution 시점에 제공되는 0 또는 1의 binary label을 활용한 Ground-truth 자동 매핑 구조 설계
- 가격대를 10개 구간(Deciles)으로 나누어 실제 발생률을 계산하는 Reliability Diagram 분석 로직 구현
- Order-book Depth 필터링을 통한 Low-liquidity 시장의 Stale Price 노이즈 제거 공정 도입
- Time-to-resolution에 따른 Brier Score 추적을 통해 시간 경과에 따른 예측 정확도 변화 측정
- API Paging 부하 감소를 위해 Parquet/CSV 형태의 Flat File 아카이브 제공으로 오프라인 분석 효율화
실천 포인트
- 확률적 예측 시스템 설계 시 Reliability Diagram을 통해 Over/Under-confidence 구간 식별 - 데이터 수집 시 Mid Price 외에 Order-book Depth를 함께 기록하여 실행 가능한 가격(Executable Price) 검증 - 시계열 분석 시 이벤트 종료 시점까지의 시간 거리(Time-to-resolution)를 변수로 설정하여 성능 추이 분석