Hugging Face가 Informer 모델을 Transformers 라이브러리에 통합하고 ProbSparse Attention으로 시계열 예측의 계산 복잡도를 O(T²D)에서 O(T log T)로 감소

Context

바닐라 Transformer를 시계열 예측에 적용할 때 두 가지 병목이 발생했다. 첫째, 자기 주의(self-attention)의 계산 복잡도가 O(T²D)로 긴 시계열(LSTF) 처리에 막대한 비용이 들고, 둘째, N개 인코더/디코더 레이어 스택 시 메모리 사용량이 O(NT²)에 달해 모델 용량이 제한된다.

Technical Solution

• ProbSparse Attention 메커니즘 도입: 자기 주의 스코어의 롱테일 분포에서 "활성" 쿼리(주요 주의를 생성하는 쿼리)만 선택하여 감소된 쿼리 행렬 Q_reduce를 생성, 계산 복잡도를 O(T log T)로 감소
• Distilling 연산 도입: 각 레이어 사이에서 입력 크기를 절반으로 축소하여 전체 메모리 사용량을 O(NT²)에서 O(N·T log T)로 감소
• 다변량 확률적 예측 지원: 모델 아키텍처는 단변량/다변량 처리에서 동일하게 유지되며, 출력 단계에서 대각 공분산 행렬로 근사하여 고차원 분포 추정
• 독립 분포 가정을 통한 계산 단순화: 교차 시계열 상관관계의 복잡한 결합 조건부 분포 대신 동일 계열의 독립 분포로 모델링

Impact

ProbSparse Attention의 계산 복잡도가 O(T log T)로 감소하여 O(T²D) 대비 장시간 시계열 처리에서 선형에 가까운 확장성을 달성했다. 메모리 사용량이 O(N·T log T)로 개선되어 더 깊은 레이어 스택이 가능해졌다.

Key Takeaway

장시간 시계열 예측 문제에서 Sparse Attention 메커니즘과 계층적 축약(Distilling)을 결합하면 이차 복잡도의 병목을 선형 복잡도 수준으로 개선할 수 있다. 다변량 예측에서는 교차 시계열 상관관계 추정의 어려움으로 인해 다변량 모델이 단변량 앙상블보다 성능이 낮을 수 있으므로, 충분한 학습 데이터 확보가 필수이다.