Artificial Analysis가 100개 이상의 서버리스 LLM API 엔드포인트에 대해 품질·속도·가격을 통합 측정하는 리더보드를 Hugging Face에 배포

Context

LLM 기반 애플리케이션 개발 시 모델 품질만으로는 의사결정이 불충분하며, 사용자 응답성을 위한 속도와 복합 시스템의 총 운영비용에 영향을 미치는 가격이 동등한 중요도를 갖고 있다. 엔지니어들이 오픈소스 및 상용 LLM과 API 제공자 선택 시 품질, 가격, 속도를 한 곳에서 비교하고 의사결정할 수 있는 통합 플랫폼이 부재했다.

Technical Solution

• 100개 이상 서버리스 LLM API 엔드포인트에 대해 4가지 핵심 메트릭 측정: 품질(MMLU, MT-Bench, HumanEval, Chatbot Arena 기반 인덱스), 컨텍스트 윈도우(최대 토큰 수), 처리량(초당 토큰 수), 지연시간(첫 토큰까지의 응답시간)
• 가격 메트릭 정규화: 입력/출력 토큰별 가격과 3:1 비율로 블렌딩된 단일 가격 지표 제공
• 6가지 워크로드 조합 지원: 프롬프트 길이(~100, ~1k, ~10k 토큰)와 병렬 쿼리 수(1개, 10개) 조합으로 성능 변동성 캡처
• 일일 8회 테스트로 14일 중앙값 기반 리더보드 구성: 중앙값, P5, P25, P75, P95 백분위 데이터 제공
• Hugging Face 플랫폼과 통합하여 오픈 및 상용 모델 정보 중앙화

Impact

클로드 3 오퍼스에서 라마 3 8B까지 가격 편차가 300배(2자릿수 규모 차이) 존재한다. 라마 3 모델의 경우 출시 48시간 내 7개 API 제공자가 서비스 제공 시작했다. 웹 검색 기능이 있는 챗봇 예시에서 GPT-4 Turbo 단일 모델 대신 라마 3 8B로 병렬로 수십 개 페이지 처리 후 GPT-4 Turbo로 최종 평가하는 다단계 구조 사용 시, 10배 이상 콘텐츠 처리에도 불구하고 비용 절감과 출력 품질 향상이 동시에 달성 가능하다.

Key Takeaway

LLM 시스템 설계 시 높은 품질의 단일 모델 선택보다 빠르고 저가의 모델을 병렬·순차 조합으로 사용하는 다단계 패턴이 총 비용과 시스템 품질 모두에서 우월할 수 있으며, 이를 위해서는 가격·속도·품질을 동시에 비교 가능한 통합 메트릭이 필수적이다.