Hugging Face Transformers 라이브러리가 Vanilla Transformer 기반 확률적 시계열 예측 모델을 제공해 국소 포인트 예측 방식에서 글로벌 확률 분포 모델링으로의 전환 실현

Context

고전적 시계열 예측 방식(ARIMA)은 각 시계열을 개별적으로 학습하는 국소 모델이며, 포인트 값만 출력하므로 예측의 불확실성을 제공할 수 없다는 한계가 있다. 대규모 시계열 데이터를 처리할 때 여러 데이터 소스의 잠재 표현을 학습할 수 있는 글로벌 모델의 필요성이 증대되었다.

Technical Solution

• Encoder-Decoder Transformer 아키텍처 도입: 컨텍스트 윈도우를 인코더에 입력하고 예측 길이 크기의 윈도우를 인과 마스크 적용 디코더에 전달하는 구조 구성
• 확률적 분포 모델링: Gaussian, Student-T 등 매개변수 분포의 미래 파라미터를 학습하는 방식으로 구현하고, 샘플링을 통해 예측 불확실성 제공
• 자회귀 세대(Ancestral Sampling) 적용: 학습된 분포에서 샘플링하여 목표 예측 지평까지 순차적으로 예측값 생성
• 결측값 처리: Attention 마스크를 활용해 결측값을 보조 마스크로 인코딩하여 데이터 대체/대입 없이 직접 학습
• GluonTS 데이터 포맷 채택: 아티클 제공 노트북에서 데이터를 Hugging Face Datasets 형식으로 변환하는 프로세스 문서화

Key Takeaway

Transformer 기반 시계열 모델은 수천 개의 타임 스텝을 처리할 수 있으며, 다중 시계열로부터 공유 표현을 학습하는 글로벌 모델링이 가능하다는 점이 핵심이다. 이를 통해 고전적 방식의 한계를 극복하고 실제 의사결정 파이프라인에 필요한 예측 불확실성을 정량화할 수 있다.