IBM Research와 HuggingFace가 MLP-Mixer 기반의 PatchTSMixer를 Transformers 라이브러리에 통합하여 시계열 예측에서 8~60% 성능 향상 및 2~3배 메모리/런타임 감소 달성

Context

기존 Transformer 기반 시계열 예측 모델들은 높은 메모리 사용량과 긴 런타임으로 인해 경량 시스템에서의 적용이 제한되었습니다. MLP와 Transformer 모델들을 능가하면서도 더 효율적인 시계열 모델이 필요했습니다.

Technical Solution

• MLP-Mixer 아키텍처 기반 설계: 입력 다변량 시계열을 패치/윈도우로 분할하고 embedding layer를 거쳐 다차원 텐서로 변환
• 계층 구조 개선: 각 MLP Mixer 레이어가 inter-patch, intra-patch, inter-channel 상관관계를 순열 및 MLP 연산으로 학습
• 주의 메커니즘 추가: 단순 gated attention부터 복잡한 self-attention 블록까지 커스터마이징 가능한 구조 지원
• 모듈식 설계 적용: masked 시계열 사전학습(pretraining)과 직접 시간 시계열 예측(forecasting) 동시 지원
• 전이학습 기능 구현: 사전학습 모델을 이용한 zero-shot 예측 및 linear probing, full finetuning 가능

Impact

• 예측 성능: 기존 MLP 및 Transformer 모델 대비 8~60% 향상, Patch-Transformer 모델 대비 1~2% 성능 우위
• 리소스 효율: Patch-Transformer 모델 대비 메모리 및 런타임 2~3배 감소
• 전이학습 성능: Electricity 데이터셋으로 사전학습한 모델을 ETTh2 데이터셋에 적용 시 eval_loss 0.2734 달성

Key Takeaway

경량성을 유지하면서 Transformer 수준의 예측 성능을 달성하려면 MLP-Mixer 같은 대안 아키텍처를 검토할 가치가 있습니다. 모듈식 설계를 통해 사전학습과 다양한 다운스트림 태스크(예측, 분류, 회귀)를 유연하게 지원할 수 있습니다.