SGLang이 Hugging Face transformers를 백엔드로 통합해 네이티브 지원되지 않는 모델을 즉시 고성능 추론으로 실행 가능

Context

Hugging Face transformers는 실험과 개발에는 유연하지만 프로덕션 환경의 대량 처리와 저레이턴시 추론에는 최적화되어 있지 않다. SGLang은 고처량·저레이턴시 추론에 특화되어 있지만 지원하는 모델의 범위가 제한적이어서 새로운 모델이나 커스텀 모델을 사용할 때마다 네이티브 지원을 기다려야 했다.

Technical Solution

• Transformers 백엔드 자동 폴백: SGLang이 네이티브로 지원하지 않는 모델을 자동으로 transformers 구현으로 전환하거나 impl="transformers" 파라미터로 명시적 선택 가능
• 커스텀 모델 지원: Hugging Face Hub의 모든 transformers 호환 모델이 trust_remote_code=True 설정과 적절한 attention 구현으로 SGLang과 호환 가능
• 런타임 엔진 인터페이스 통일: sgl.Engine(model_path, impl="transformers") 단일 API로 transformers 기반 모델도 SGLang의 고성능 추론 파이프라인 활용
• 서버 모드 지원: --impl transformers 플래그로 SGLang 서버를 구동해 OpenAI 호환 API로 추론 서빙
• RadixAttention 적용 준비: Transformers 백엔드 통합으로 메모리 효율적인 attention 메커니즘 최적화 배포 경로 확보

Key Takeaway

Transformers 에코시스템의 유연성을 유지하면서 네이티브 구현이 없는 새로운 모델을 SGLang의 고성능 추론 엔진으로 즉시 실행할 수 있게 함으로써, 엔지니어링 오버헤드 없이 최신 모델 접근성과 프로덕션 성능 간의 트레이드오프를 해결했다.