p99 Latency 500ms 달성, Backend 성능 최적화 플레이북

Context

평균 응답 시간 위주의 모니터링으로 인한 Tail Latency 식별 불가 문제 발생. p99 등 상위 백분위수 지표 누락으로 일부 사용자가 겪는 심각한 성능 저하 방치. 데이터 기반의 병목 구간 파악 프로세스 부재로 인한 비효율적 최적화 반복.

Technical Solution

• Datadog APM 및 Jaeger를 통한 요청 전 과정의 End-to-End 트레이싱 체계 구축
• p50, p75, p95, p99 지표를 활용하여 평균의 함정을 제거한 실제 사용자 경험 측정 방식 도입
• Database Profiling을 통해 쿼리 실행 빈도와 Row Scan 비율을 분석하고 Missing Index 및 N+1 쿼리 해결
• CPU Bound 작업 및 응답 불필요 로직을 Celery 기반 Async Worker로 분리하여 Request Cycle 단축
• Redis를 활용한 전략적 캐싱 적용 및 TTL 설정과 이벤트 기반 무효화 전략으로 DB 부하 감소
• PgBouncer 도입 및 Connection Pooling 설정을 통한 DB 연결 오버헤드 최적화

Impact

• p95 Latency 200ms 미만 달성
• p99 Latency 500ms 미만 달성
• Critical Query 실행 시간 50ms 미만 완료
• Jinja2 template rendering 최적화로 기존 워크플로우 대비 5배 성능 향상

Key Takeaway

성능 최적화는 '관찰 → 프로파일링 → 수정 → 검증'의 반복 루프이며, 평균값이 아닌 백분위수 지표를 통해 시스템의 예측 가능성을 확보하는 것이 핵심임.