Chronos와 Toto를 통한 Zero-Shot 시계열 예측 성능 및 불확실성 정밀 분석

Chronos vs Toto: Zero-Shot Forecasting Benchmark Results

Parseable Team2026년 5월 27일16분advanced

AI 요약

Context

인프라 Capacity Planning과 Alert 최적화를 위해 신뢰할 수 있는 시계열 예측 모델 도입이 필요함. 기존의 단순 Naive Baseline 방식은 급격한 트래픽 스파이크나 메모리 누수와 같은 불확실한 상황에서 예측 신뢰도가 급격히 하락하는 한계가 있음.

Technical Solution

데이터 특성에 따른 모델 이원화 전략을 통해 예측 정밀도 향상
주기성이 뚜렷한 Prometheus Memory 데이터(CV ≈ 0.31)에는 Direct Multi-step Forecasting 기반의 Chronos 모델을 적용하여 장기 예측 성능 최적화
변동성이 크고 Heavy-tailed 특성을 가진 OpenSearch CPU 데이터(CV ≈ 0.48)에는 sampling 튜닝을 거친 Toto 모델을 배치하여 Tail Risk 대응력 강화
MASE(Mean Absolute Scaled Error) 지표를 통해 Naive Baseline 대비 예측 모델의 절대적 우위 검증
CRPS(Continuous Ranked Probability Score)를 활용하여 예측값의 중심점뿐만 아니라 Quantile Envelope의 확률적 보정 상태 분석
10s 단위의 고주파 데이터에서 발생하는 Noise 해결을 위해 5m/10m Aggregation 수행 및 예측 Horizon을 64 step으로 제한하여 과적합 방지

실천 포인트

- 주기적 패턴의 안정적 워크로드에는 Chronos 모델 기반의 Long-horizon 예측 적용 - 스파이크가 빈번한 Heavy-tailed 데이터에는 Toto 모델의 Sampling 최적화 검토 - 예측 모델의 신뢰성 검증을 위해 MASE < 1 및 CRPS Naive Baseline 이하 달성 여부 확인 - 배포 후 데이터 드리프트 발생 시 Coverage 하락을 감지하여 모델 재학습 또는 Baseline 일시 전환 프로세스 구축

태그

#Zero-Shot Forecasting #Telemetry Analysis #CRPS #MASE #Quantile Envelope

원문 읽기