Structured Logging 도입을 통한 장애 복구 시간 38분에서 11분으로 단축

Context

비정형 텍스트 로그 사용으로 인한 컨텍스트 부족과 원인 분석 지연 문제 발생. 특히 외부 LLM API의 503 에러가 일반적인 타임아웃 메시지로 래핑되어 루트 코즈 파악에 과도한 시간 소요.

Technical Solution

• Query 가능하고 필터링이 용이한 JSON 기반 Structured Logging 체계 구축
• 'noun_verb_status' 컨벤션을 적용한 event 필드 강제화로 로그 분석의 정량화 구현
• Pino의 Child Logger를 활용하여 요청 전 과정에 동일한 Correlation ID를 전파하는 Trace 구조 설계
• 모든 주요 오퍼레이션에 duration_ms 필드를 포함하여 지연 시간과 완전 중단 상태를 구분하는 성능 모니터링 구현
• 로그 볼륨 제어를 위해 루틴 이벤트에 대해 1~10% 수준의 Sampling 전략 적용
• PII 데이터 유출 방지를 위한 Redaction 및 ISO 8601 표준 타임스탬프 적용

Impact

• 장애 원인 파악 및 해결 시간: 기존 38분에서 11분으로 약 71% 단축
• 로그 분석 방식: 단순 Grep 검색에서 SQL 형태의 조건부 쿼리(WHERE 절) 방식으로 전환