Ghost Power 분석을 통한 AI GPU 에너지 효율의 실질적 임계점 식별

Context

업계 전반의 Performance-per-watt 지표가 Peak Load 기반으로만 측정되는 한계 존재. 특히 Inference Serving 환경에서 Compute Utilization이 낮은 구간의 에너지 소모가 전체 비용을 결정짓는 병목 지점으로 작용.

Technical Solution

• Persistence Mode 및 Memory Controller 활동으로 발생하는 Ghost Power의 정밀 측정 체계 구축
• Compute Utilization 0% 상태에서의 Idle Floor(67W)와 Ghost Power(146W)를 구분하여 인프라 비용 분석
• Precision Mode(FP16 vs FP32) 변경에 따른 전력 스파이크의 상관관계 도출
• Batch Size 증가를 통한 Utilization 상향으로 Ghost Power 영향력을 최소화하는 에너지 최적화 전략 수립
• A100 및 H100 하드웨어를 대상으로 75개 검증 테스트를 포함한 Morpheus Test Suite 설계

Impact

• FP16 사용 시 FP32 대비 약 60%의 전력 스파이크 발생(483W vs 302W)
• Compute Utilization 0% 시 최대 146W의 Ghost Power 소모 확인
• Idle Floor 기준 67W의 기본 전력 소모 식별

Key Takeaway

Peak 성능 중심의 효율성 지표에서 탈피하여 Idle Floor와 Precision Delta를 포함한 전체 전력 프로파일 분석이 필수적이며, 특히 Inference 환경에서는 Batch Size 최적화가 가장 강력한 에너지 제어 레버임.