FSx와 Karpenter 기반 AWS ML 인프라 구축으로 학습 시간 90% 단축

Context

S3 단일 저장소 사용 시 발생하는 낮은 Throughput으로 인한 ML 모델 학습 지연 문제 발생. 단일 SageMaker Endpoint 운용에 따른 높은 비용 부담과 GPU 자원 관리의 비효율성 해결 필요.

Technical Solution

• S3와 FSx for Lustre를 연동한 하이브리드 데이터 레이어 설계로 I/O 병목 제거
• EKS 기반 GPU Karpenter 도입을 통한 워크로드 맞춤형 GPU 인스턴스 자동 프로비저닝 구현
• Spot GPU Instance 전략적 활용을 통한 컴퓨팅 비용 최적화 구조 설계
• Multi-Model Endpoints(MME) 적용으로 단일 엔드포인트 내 다수 모델 호스팅을 통한 리소스 효율화
• DataCaptureConfig 기반의 20% 샘플링 모니터링 체계 구축을 통한 Model Drift 감지

Impact

• S3(5 GB/s) 대비 FSx for Lustre(100+ GB/s) 도입으로 학습 시간 8시간에서 45분으로 단축
• Spot Instance 활용을 통한 GPU 컴퓨팅 비용 60-70% 절감

Key Takeaway

데이터 처리량 최적화와 유연한 컴퓨팅 자원 할당이 ML 파이프라인 전체 성능을 결정하는 핵심 설계 요소임.