Hugging Face 인프라팀이 NAT Gateway 처리량, 로그 아카이빙 성공률, 메트릭 전송 중단 3가지 알림을 도입해 프로덕션 안정성과 비용 최적화 가시성 확보

Context

클라우드 인프라에서 NAT Gateway를 통한 아웃바운드 트래픽이 증가하면서 비용 최적화를 위한 트래픽 패턴 파악이 필요했다. Hub 로깅 파이프라인에서 대량의 로그 데이터가 생성되며 아카이빙 과정에서의 실패 감지가 필요했다. Kubernetes 클러스터의 메트릭 전송 단절 시 인프라 상태 파악이 어려웠다.

Technical Solution

• NAT Gateway 처리량 모니터링: 고정 임계값 설정 방식의 알림을 구성해 트래픽 스파이크 감지 및 정기적 트렌드 검토 자동화
• DNS 오버라이드 활용: CDKTF AWS provider를 사용한 Route53ResolverFirewallRule로 객체 스토리지 접근 시 공개 네트워크 경로를 우회해 저비용 경로 활성화
• Hub 로그 아카이빙 성공률 알림: Filebeat → Logstash → S3 파이프라인에서 각 단계의 아카이빙 완료 여부를 추적하는 알림 구성
• 메트릭 전송 중단 감지: 48시간 이전 패킷 전송률과 현재 전송률을 비교해 신규 클러스터 또는 메트릭 미전송 클러스터 식별
• Configuration-as-code와 알림 계층 이중화: Terraform 코드의 오류 발생 시 알림으로 감지하는 추가 보호층 구현

Key Takeaway

프로덕션 인프라 안정성은 세밀한 모니터링 알림 3~5개의 조합보다는 각 알림이 정확히 무엇을 감지하고 왜 필요한지의 명확한 설계가 중요하다. 트래픽 패턴 분석을 통한 비용 최적화와 인프라 자동화 코드의 오류 감지는 동일 수준의 운영 안정성을 제공한다.