피드로 돌아가기
Dev.toInfrastructure
원문 읽기
HTTP/1.1~3 및 gRPC 통합 벤치마크 플랫폼 HttpArena 구축
HttpArena - Benchmark Web Frameworks
AI 요약
Context
기존 웹 프레임워크 벤치마크의 좁은 테스트 범위와 특정 기업 주도의 편향된 결과 도출 한계. 실제 운영 환경과 괴리가 큰 단순 성능 측정 방식의 개선 필요성 대두.
Technical Solution
- Http/1.1, Http/2, Http/3, gRPC, Websocket을 아우르는 광범위한 Test Coverage 확보
- Reverse Proxy 및 Redis 캐싱을 포함하여 실제 서비스와 유사한 Workload 기반 벤치마크 설계
- Production, Tuned, Infrastructure, Engine으로 항목을 세분화하여 비교군 간 Fairness 확보
- 64 Core AMD Threadripper 단일 서버 구성으로 Network Bottleneck 원천 차단
- CPU 자원 경합 최소화를 위해 Server와 Load Generator를 분리된 Container로 구동하고 Core Pinning 적용
- PR 오픈 후 10분 이내에 벤치마크 결과를 도출하는 자동화 파이프라인 구축
실천 포인트
- 벤치마크 설계 시 Network Latency 변수를 제거하기 위한 Single Box 구성 및 Core Pinning 검토 - 단순 Micro Benchmark 외에 Reverse Proxy 및 Cache가 포함된 Real-world Workload 시나리오 정의 - 비교 대상의 설정 상태에 따라 Production과 Tuned 그룹으로 분리하여 측정하는 기준 수립