Hugging Face가 Decision Transformer를 transformers 라이브러리에 통합해 오프라인 강화학습을 Transformer 기반 시퀀스 모델링으로 구현

Context

온라인 강화학습은 실시간 환경 상호작용이 필요하므로 시뮬레이터 구축 비용이 높고, 시뮬레이터의 결함이 에이전트 학습을 오염시킬 수 있다. 따라서 기존 데이터셋만으로 정책을 학습할 수 있는 오프라인 강화학습 방식이 필요했다.

Technical Solution

• Decision Transformer 모델을 조건부 시퀀스 모델링 문제로 추상화: 정책 최적화 함수 대신 트랜스포머를 사용해 목표 리턴, 과거 상태 및 액션을 입력받아 미래 액션 자동생성
• GPT-2 아키텍처 기반 자동회귀 모델링: 마지막 K 타임스텝의 상태, 액션, 리턴을 선형 임베딩 또는 CNN 인코더로 처리 후 GPT-2를 통해 액션 예측
• Hugging Face transformers 라이브러리에 DecisionTransformerModel 클래스 추가: from_pretrained() 메소드로 사전학습 모델 로드 가능
• Gym 환경(Hopper, Walker2D, Halfcheetah)에서 학습된 9개 사전학습 체크포인트 제공: 각 환경별 전문가 수준의 정책 모델 배포
• Python 스크립트 및 Colab 노트북 제공: 각 타임스텝에서 자동회귀 모델 입력 준비 및 추론 방식 설명

Key Takeaway

강화학습 문제를 조건부 시퀀스 생성 태스크로 재정의하면 검증된 트랜스포머 아키텍처를 오프라인 학습에 직접 적용할 수 있으며, 이는 RL 알고리즘의 복잡성을 제거하고 기존 생성 모델 생태계의 이점을 활용하는 패러다임 전환이다.