Disk Full 80% 사태를 통해 검증한 비용 효율적 Observability 전략

Context

생산 시스템 내 과도한 로그 수집으로 인한 스토리지 비용 상승과 시스템 성능 저하가 발생한 상황. 특히 DEBUG 레벨의 무분별한 활성화로 인한 디스크 가용성 위기와 장애 복구 시간(MTTR) 증가라는 상충 관계 존재.

Technical Solution

• 환경별 Log Level 차등 적용을 통한 불필요한 I/O 및 스토리지 낭비 제거
• Production 환경 내 INFO, WARN, ERROR 중심의 상시 모니터링 체계 구축으로 Observability 확보
• 일시적 DEBUG 레벨 활성화를 통한 타겟팅 디버깅 후 즉시 원복하는 Dynamic Logging 전략 채택
• Structured Logging 및 Correlation ID 도입을 통한 분산 환경 내 요청 추적 효율화
• Prometheus 기반 Metric과 Jaeger/Zipkin 기반 Distributed Tracing을 결합한 다각적 분석 구조 설계
• 로그 의존도를 낮추기 위해 요청 완료 시간 및 컴포넌트 간 호출 관계를 Tracing으로 분리하여 처리