GitOps 환경에서 사건 대응 중 수동 kubectl 명령어로 인한 클러스터 상태 편차를 5분 내 Git에 커밋하도록 강제해 동기화 손실 방지

Context

GitOps는 Git을 단일 원본으로 보장하지만 실제로는 사건 대응 중 수동 kubectl 명령어가 실행되면서 클러스터 상태가 Git과 벗어난다. 이런 편차는 시간이 지나면서 누적되어 클러스터 상태가 불명확해지고 Argo CD/Flux가 자동으로 덮어쓰면서 숨겨진 배포 실패를 야기한다.

Technical Solution

• Git을 원본으로 하는 매 수동 변경을 5분 이내 Git에 커밋하는 규칙 수립: 사건이 종료되기 전에 kubectl로 적용한 모든 패치를 Git 리포지토리로 역동기화
• Argo CD 편차 감지 대시보드 도입: 동기화되지 않은 리소스를 사전에 노출해 사건 발생 전에 편차 가시화
• 주간 diff 작업 자동화: 실시간 클러스터 상태와 Git 상태를 비교해 추적되지 않은 변경사항을 자동으로 Pull Request 생성
• 다중 클러스터 환경에서 각 클러스터의 편차 누적 억제: 수동 개입 발생 시 각 클러스터가 독립적으로 편차를 갖는 것 방지
• Sealed-Secrets, Vault Agent 등 GitOps 외부에서 관리되는 시크릿의 편차 추적 가능하게 구조화

Key Takeaway

GitOps 환경에서 진정한 단일 원본(source of truth) 유지는 기술이 아닌 운영 규칙에 달려있으며, 모든 수동 변경을 즉시 자동화된 감지 메커니즘으로 추적해야 편차 누적을 사전 차단할 수 있다.