Latency 히스토그램의 두 개의 피크, 시스템 아키텍처의 지문

Context

평균 Latency나 Percentile 지표는 데이터 분포의 세부 특성을 압축하여 손실시킴. 서로 다른 실행 경로를 가진 요청들이 하나의 수치로 통합되어 근본 원인 분석을 방해하는 구조.

Technical Solution

• Bimodal Distribution 분석을 통한 시스템 내 서로 다른 두 가지 실행 경로 식별
• Cache-Aside 구조에서 Hit와 Miss의 빈도 및 비용 차이를 피크 높이와 위치로 분석
• Connection Pool Queuing 발생 시 대기 시간 유무에 따른 요청 집단 분리
• Serverless Cold Start 비용을 환경 초기화 시간과 트래픽 패턴의 상관관계로 파악
• Garbage Collection Stop-the-world 지연으로 인한 주기적 슬로우 피크 검출
• CDN Edge와 Origin 간의 물리적 거리 및 처리 단계 차이를 히스토그램으로 시각화
• Feature Flag 및 A/B Routing 설정에 따른 제어군과 실험군의 경로 비용 비교

Key Takeaway

Latency 히스토그램의 다중 피크는 단순한 노이즈가 아니라 시스템 아키텍처가 밀리초 단위로 설명하는 실행 경로의 증거임. 지표를 평탄화하지 않고 세그먼트를 분리하여 관찰할 때 진정한 시스템 이해가 가능함.