Hugging Face가 Inference Endpoints의 분석 대시보드를 재설계해 실시간 메트릭 업데이트와 레플리카 라이프사이클 추적 기능 도입

Context

기존 분석 대시보드는 메트릭 업데이트 지연이 발생했으며, 사용자들이 엔드포인트 상태를 실시간으로 파악하기 어려웠다. 특히 고트래픽 환경에서 대시보드 로딩 지연과 레플리카 상태 추적의 복잡성이 모니터링과 디버깅을 방해했다.

Technical Solution

• 실시간 메트릭 업데이트: 메트릭 데이터를 초 단위로 갱신하여 요청 레이턴시, 응답 시간, 에러율을 실시간 확인 가능하도록 변경
• 대시보드 백엔드 재구현: 고트래픽 엔드포인트의 메트릭 로드 속도 개선으로 대시보드 오픈 시 즉시 인사이트 제공
• 사용자정의 시간 범위 선택: 특정 시간대 확대 조회 또는 장기 추세 추적을 위한 유연한 시간 범위 설정 기능 추가
• 자동 새로고침 기능: 대시보드의 수동 새로고침 없이 자동으로 최신 데이터 유지
• 레플리카 라이프사이클 뷰: 초기화에서 종료까지 각 레플리카의 상태 전환을 추적할 수 있는 상세 뷰 추가

Key Takeaway

Inference Endpoint 모니터링의 실시간성과 세분성을 높이면 사용자가 배포된 시스템의 상태를 정확하게 파악하고 빠르게 대응할 수 있다. 제품 팀이 직접 사용하는 고통을 반영한 개선은 사용자 경험과 정렬된다.