피드로 돌아가기
Dev.toDevOps
원문 읽기
패턴 기반 분기 진단 및 표준화된 시퀀스를 통한 K8s MTTR 단축
How I Troubleshoot Kubernetes in Production
AI 요약
Context
로그와 대시보드에 의존한 파편화된 트러블슈팅 방식의 비효율성 발생. 단순 추측 기반 대응으로 인한 복구 시간 증가와 반복되는 장애 패턴에 대한 체계적 대응 체계 부재.
Technical Solution
- 정형화된 5단계 진단 시퀀스(Pods → Describe → Logs --previous → Top → Events) 적용을 통한 정보 수집 경로 최적화
- 장애 증상을 ImagePullBackOff, CrashLoopBackOff, Pending 등 5가지 핵심 클래스로 정의하여 진단 경로를 분기하는 Classification 전략 도입
--previous플래그 활용으로 재시작된 컨테이너의 이전 런타임 상태를 추적하여 CrashLoopBackOff의 근본 원인 파악- Startup Probe와 Liveness Probe의 역할을 분리하여 Cold Start 시 발생하는 Restart Storm 방지 및 가용성 확보
- p99 실제 사용량을 기준으로 Resource Request를 산정하여 Bin-packing 효율성과 스케줄링 안정성 간의 Trade-off 최적화
Key Takeaway
애플리케이션 로그보다 인프라 수준의 Event Stream이 더 빠른 단서를 제공하며, 장애 유형별 진단 경로를 표준화함으로써 인지 부하를 줄이고 복구 속도를 극대화함.
실천 포인트
- Pod 상태 확인 후 즉시 장애 클래스(Image/Crash/Pending/Network/DNS) 분류 - CrashLoopBackOff 발생 시 반드시 `kubectl logs --previous`로 이전 컨테이너 로그 확인 - Liveness Probe 설정 전 Startup Probe를 통해 애플리케이션 부팅 시간 충분히 확보 - OOMKilled 판단을 위해 `kubectl describe` 결과 내 Exit Code 137 여부 검증 - 반복 발생하는 장애는 단순 복구가 아닌 CI/CD 파이프라인 내 자동 검증 단계로 내재화