대규모 분류·임베딩 작업(1B+ 일일 요청)에서 배치 사이즈와 가상 사용자 수를 파라미터로 최적화하여 GPU 활용률과 비용-지연 시간 트레이드오프를 정량화한 벤치마킹 방법론

Context

일일 10억 건 이상의 분류 또는 임베딩 추론 요청을 처리할 때 클라우드 비용이 급증하는 문제가 발생한다. Encoder 모델이 LLM보다 작지만, 이 규모에서는 비용 효율적이고 높은 처리량의 추론 인프라 구축이 비자명한 과제다.

Technical Solution

• 벤치마킹 프레임워크 구축: 하드웨어 옵션(Inference Endpoints GPU 선택지), 배포 도구(Hugging Face Hub Library), 로드 테스트(Grafana k6), 추론 서버(Infinity 라이브러리) 4개 컴포넌트를 조합하여 비용과 지연 시간을 동시에 측정
• 핵심 파라미터 최적화: INFINITY_BATCH_SIZE(배치당 문서 수)와 Virtual Users(VUs, 병렬 클라이언트 수)를 변수로 하여 GPU 스트리밍 멀티프로세서와 VRAM 활용률 최대화
• GPU 선택 기준: 성능/비용 비율이 최적인 GPU들(Nvidia T4 등)을 우선 평가하고, CPU는 T4의 저가격 때문에 제외
• 등고선 그래프 분석: 배치 사이즈와 VUs 공간에서 비용 레벨을 시각화하여 비용-지연 트레이드오프 영역 식별
• 실제 배포: 벤치마킹은 k6으로 수행하되, 프로덕션 환경에서는 infinity_client 라이브러리 사용(Base64 인코딩으로 페이로드 크기 감소, OpenAI 라이브러리 호환성 제공)

Impact

아티클에서 구체적인 비용 절감 수치나 지연 시간 단축 수치가 명시되지 않았다. "The contour plot shows cost levels" 등의 표현만 있고 절대값이 제시되지 않음.

Key Takeaway

대규모 추론 워크로드에서는 배치 사이즈와 동시 요청 수를 체계적으로 스윕하여 GPU 포화도를 정량 측정해야 하며, 이를 통해 각 하드웨어 선택지별 비용-성능 경계를 수립할 수 있다. 단순히 VRAM 여유가 있어도 메모리 대역폭 제약이 처리량을 제한할 수 있으므로 실제 부하 테스트가 필수다.