TimesFM - Google의 2억 파라미터, 16k 컨텍스트 시계열 기반 모델

Context

시계열 모델이 이탈리아 달걀 가격과 전 세계 인플레이션을 동시에 예측하는 것은 신뢰하기 어렵습니다. 예측 근거를 설명하지 않으면 결과를 신뢰하기 어렵고, 비계절적 사건의 영향을 포착하지 못합니다. 실제로 이 모델들은 시계열 데이터를 추세·계절성·잔차로 분해하는 것이 핵심입니다.

Technical Solution

• TimesFM: 2억 파라미터 Transformer 구조로 16k 컨텍스트 길이를 지원함
• 합성 학습 데이터: 선형 추세, ARMA, 사인·코사인 계절 패턴 등 전통적 통계 모델로 생성함
• 분해(decomposition): Fourier 변환의 일반형을 찾아내 근본 요인을 분리함
• 기억(memorization): 멱법칙 등 여러 도메인에서 반복되는 패턴을 학습함
• 멀티태스크(multitask): 날씨와 전력처럼 도메인 간 연관성을 활용함
• Benford의 법칙 적용: 부호와 지수는 느리게 변하는 특성을 예측에 활용함

Impact

Google Ads 캠페인에서 전체 데이터를 학습하면 95% 신뢰구간을 제공할 수 있었음

Key Takeaway

Transformer 구조 기반 시계열 모델은 합성 학습 데이터를 통해 추상적 패턴을 포착하며, LLM이 입력 컨텍스트에서 문제별 패턴을 찾아내듯 작동합니다. 핵심은 아키텍처와 학습 방식의 일반화 능력입니다.