EKS 리소스 낭비 80% 제거를 위한 Karpenter 및 Right-Sizing 도입

Context

Defensive Engineering으로 인한 과도한 Resource Request 설정이 빈번한 상황. 이로 인해 실제 CPU 이용률 8%, Memory 이용률 20% 수준의 심각한 Over-Provisioning 발생 및 클라우드 비용 낭비 초래.

Technical Solution

• ASG 기반의 느린 Cluster Autoscaler를 대체하여 Pod 제약 조건을 직접 평가하는 Karpenter 도입
• Millisecond 단위의 최적 EC2 인스턴스 런칭을 통한 Node Fragmentation 최소화
• Prometheus 및 Kubecost를 활용한 14일 주기 실제 소비량 분석 기반의 Right-Sizing 수행
• Peak anomalies 대신 Median historical usage 기준의 Request 설정으로 자원 할당 최적화
• 일시적 트래픽 스파이크 대응을 위한 Limit 설정 분리를 통한 시스템 안정성 확보

Impact

• 평균 CPU 이용률 8%, Memory 이용률 20% 수준의 유휴 자원 낭비 확인
• 전체 컨테이너 비용의 약 80%가 사용되지 않는 Idle Resource에 지불되는 구조 개선

Key Takeaway

인프라 비용을 핵심 성능 지표(Core Performance Metric)로 정의하여 자원 할당의 효율성을 추구하는 Lean Platform 설계 원칙 필요.