워크로드 특성에 따른 GCP Compute 최적화 전략 및 GKE 기반 AI 추론 구조 설계

Context

클라우드 컴퓨팅 선택 시 단순 도구 비교를 넘어 운영 오버헤드와 인프라 제어권 사이의 Trade-off 발생. 특히 AI 에이전트와 모델 추론 도입 시 네트워크 레이턴시와 GPU 자원 관리라는 새로운 병목 지점 직면.

Technical Solution

• Stateless HTTP API 및 마이크로서비스의 운영 효율 극대화를 위한 Cloud Run 기반 Serverless 구조 채택
• 다수 마이크로서비스 간 복잡한 서비스 디스커버리와 정밀한 리소스 제어를 위한 GKE 기반 Orchestration 설계
• 커스텀 커널 요구사항 및 컨테이너화 불가 레거시 모놀리스 대응을 위한 GCE VM 배포 전략 수립
• 모델과 에이전트 로직의 동일 클러스터 Co-location 배치를 통한 Public Network Hop 제거 및 레이턴시 최소화
• GKE Inference Gateway 및 Gateway API Inference Extension을 통한 KV Cache 기반 요청 라우팅 및 GPU Autoscaling 구현
• 단순 실험 단계의 단일 모델 추론을 위한 GCE Deep Learning VM 활용으로 초기 설정 비용 절감