Observability in Production: Metrics, Traces, and Logs That Actually Matter

Context

프로덕션 시스템은 지속적으로 실패하며, 기존 모니터링은 '무엇이 일어났는가'만 보여주지만 '왜 일어났는가'를 설명하지 못한다. Kubernetes 기반 마이크로서비스 환경에서는 단일 사용자 요청이 수십 개의 서비스를 거치기 때문에, 이러한 한계는 문제 해결 시간을 5분에서 3시간으로 증가시킨다.

Technical Solution

• Metrics 기둥 도입: Google의 Four Golden Signals(Latency, Traffic, Errors, Saturation)를 기준으로 Prometheus recording rules를 구성해 비즈니스 메트릭과 인프라 메트릭을 수집
• Structured Logging 전환: 비정형 로그 대신 JSON 형식의 구조화된 로그를 도입하고 trace_id, span_id, user_id, session_id 등 컨텍스트 정보를 모든 로그 항목에 포함
• 분산 추적(Distributed Tracing) 구현: OpenTelemetry를 표준으로 도입해 마이크로서비스 간 요청 흐름을 추적하고 각 서비스별 레이턴시 지점 파악
• 로그 레벨 전략 수립: ERROR(즉시 대응 필요), WARN(비정상 회복), INFO(정상 운영), DEBUG(디버깅용·프로덕션 비활성화)로 구분해 로그 볼륨 제어
• 자동 복구 워크플로우 추가: Argo Workflow를 사용해 high-error-rate 경고 발생 시 배포 레플리카를 자동으로 2배 증가시키는 자동 복구

Key Takeaway

Observability는 기술 문제가 아니라 팀 책임이며, 개발자가 프로덕션에서 코드 동작을 빠르게 이해할 수 있을 때 디버깅 속도와 시스템 안정성이 동시에 향상된다.