WAN 환경에서 동기화 병목 제거로 학습 속도 20배 향상한 Decoupled DiLoCo

Context

기존 분산 학습의 Synchronous 통신 방식에 따른 Blocking 병목 현상으로 인해 광역 네트워크(WAN) 환경에서의 학습 효율 저하 발생. 데이터센터 간 제한적인 대역폭과 하드웨어 세대 간 성능 차이로 인한 리소스 활용 최적화의 한계 직면.

Technical Solution

• Communication-Computation Overlap 설계를 통한 통신 대기 시간의 계산 과정 내 은닉
• Blocking Bottleneck 제거를 위해 통신 주기와 계산 주기를 분리한 Decoupled 아키텍처 도입
• 2-5 Gbps 수준의 일반 인터넷 대역폭 기반 Wide-area Networking 최적화
• TPU v6e와 TPU v5p 등 서로 다른 Hardware Generation의 혼합 배치 및 병렬 학습 지원
• Stranded Resources를 가용 용량으로 전환하는 Distributed Training 패러다임 적용

Impact

• 기존 Synchronization 방식 대비 20배 이상의 학습 속도 개선
• 4개 U.S. Region에 분산된 12B Parameter 모델의 성공적인 Pre-training 완수
• 하드웨어 세대 혼합 구성 시에도 단일 칩 구성과 동일한 ML Performance 유지

Key Takeaway

강한 결합도의 동기화 방식에서 탈피하여 통신과 계산을 비동기적으로 분리함으로써, 네트워크 제약 사항을 극복하고 분산 컴퓨팅 자원 활용도를 극대화하는 설계 원칙.