LGTM 스택과 SLO 기반 Burn-rate 알람으로 가용성 99% 달성

Context

단순 Up/Down 모니터링의 한계로 인한 사용자 관점의 신뢰성 측정 필요성 대두. 기존 Managed 솔루션의 예측 불가능한 비용 구조와 벤더 종속성 문제를 해결하기 위한 자체 Observability 플랫폼 구축 요구 발생.

Technical Solution

• Cost transparency 확보를 위한 LGTM(Loki, Grafana, Tempo, Prometheus) 스택의 Self-hosted 아키텍처 채택
• OpenTelemetry Collector를 통한 Log와 Trace의 통합 수집 및 Loki의 Derived Field 설정을 통한 Log-to-Trace 원클릭 드릴다운 경로 설계
• Four Golden Signals(Latency, Traffic, Errors, Saturation)을 SLI로 정의하여 사용자 경험 기반의 정량적 상태 측정 체계 구축
• 단순 임계치 알람 대신 Error Budget Burn-rate 기반 알림 체계를 도입하여 알람 노이즈 제거 및 대응 우선순위 최적화
• Dashboard-as-Code 및 Version-controlled Alert rules 적용으로 인프라 설정의 일관성 유지 및 UI-drift 방지
• Error Budget 소비율(50%, 75%, 100%)에 따른 단계적 Feature Freeze 정책을 통해 개발 속도와 시스템 안정성 간의 Trade-off 조절

Impact

• SLI Target: 성공 요청의 95%를 500ms 이내 처리 및 Error Rate 1% 미만 유지
• Resource Alert: CPU/Memory 80% Warn, 90% Critical 단계의 다층적 임계치 설정
• Deployment: Make-up 명령어로 3분 이내 전체 Observability 환경 프로비저닝 가능

Key Takeaway

Observability를 단순한 툴 도입이 아닌 SLI/SLO 기반의 '신뢰성 공학' 관점에서 접근하여, 비즈니스 목표와 엔지니어링 의사결정을 일치시키는 체계 구축이 핵심임.