에러 로그에 잡히지 않는 데이터 파이프라인의 침묵하는 실패, OpenTelemetry로 해결

Context

데이터 수집 파이프라인의 네트워크 지연과 부분적 실패는 일반적인 Exception으로 처리되지 않는 특성이 있음. 재시도 성공이나 간헐적 타임아웃은 로그에 남지 않아 성능 저하를 인지하기 어려움. 이러한 무색무취한 실패는 결국 인프라 비용 상승과 데이터 품질 저하로 이어지는 구조.

Technical Solution

• 데이터 파이프라인을 하나의 분산 시스템으로 정의하고 OpenTelemetry 기반의 Distributed Tracing 도입
• RequestsInstrumentor를 통한 HTTP 호출 전역 후킹으로 외부 API 통신 구간의 자동 Span 생성
• 개발 환경용 Console Exporter와 운영 환경용 OTLP Exporter를 환경 변수로 분리하여 유연한 추적 경로 설정
• Jaeger를 통한 트레이스 시각화로 쿼리별 Latency 분포와 재시도 횟수를 개별적으로 추적하는 구조 설계
• OTLP 표준 프로토콜 채택으로 Grafana Tempo, Honeycomb, Datadog 등 다양한 백엔드와의 상호 운용성 확보
• init_otel 함수를 requests.Session 생성 전 단계에 배치하여 모든 네트워크 트래픽의 누락 없는 캡처 보장

Impact

• 특정 쿼리에서 평균 대비 15배 느린 응답 속도(약 17초)를 시각적으로 식별

Key Takeaway

데이터 파이프라인 역시 타임아웃과 재시도 증폭이 발생하는 분산 시스템이므로, 단순 에러 핸들링을 넘어 관찰 가능성(Observability) 중심의 설계가 필수적임.