Hugging Face가 Groq를 Inference Provider로 통합해 LPU 기반 저레이턴시 LLM 추론을 Hub 사용자에게 제공

Context

Hugging Face Hub 사용자들은 다양한 추론 제공자(Inference Provider)를 통해 모델을 실행할 수 있어야 했으나, GPU 기반 추론의 레이턴시 한계가 실시간 AI 애플리케이션 구축을 제약했다.

Technical Solution

• Groq의 Language Processing Unit(LPU™)을 Inference Provider로 Hub에 추가: GPU의 순차 처리 병목을 극복한 전용 하드웨어 활용
• 두 가지 인증 모드 구현: 사용자 API 키로 직접 호출하거나 Hugging Face 계정으로 라우팅
• Python(huggingface_hub) 및 JS(@huggingface/inference) SDK에 Groq 제공자 통합: InferenceClient 인스턴스에 provider="groq" 파라미터 추가
• 웹 UI 계정 설정에서 API 키 관리 및 제공자 선택 순서 설정 기능 추가
• Meta Llama 4, Qwen QWQ-32B 등 오픈소스 모델 지원

Impact

아티클에 명시된 정량적 성능 수치 없음 (LPU의 "유의미하게 낮은 레이턴시와 높은 처리량" 제공만 언급)

Key Takeaway

다중 추론 제공자 통합 아키텍처에서는 표준화된 SDK 인터페이스(provider 파라미터)와 유연한 인증 전략(직접 호출/라우팅)으로 사용자에게 하드웨어 선택권을 투명하게 제공할 수 있다.