AI 앱 규모별 최적 인프라 선택을 통한 운영 복잡도 최소화 전략

Context

AI 모델의 PoC 성공 이후 실제 배포 단계에서 과도한 Kubernetes 도입으로 인한 Platform Engineering 오버헤드 발생. 초기 단계의 단순한 API 구조임에도 불구하고 복잡한 오케스트레이션 도구를 채택하여 개발 속도가 저하되는 병목 현상 노출.

Technical Solution

• 단순 FastAPI 및 Vector DB 구조의 초기 서비스에 Docker Compose 및 Single VM 기반의 단순 배포 체계 적용으로 운영 효율성 확보
• Git-push 기반의 PaaS 도입을 통한 인프라 관리 포인트 제거 및 제품 개발 사이클 가속화
• Multi-model 서빙 및 서로 다른 GPU 요구사항을 가진 서비스 간의 독립적 Scaling 필요 시 Kubernetes 전환
• NVIDIA 생태계와 연동된 Kubernetes Resource Quota 설정을 통해 고비용 GPU 자원의 효율적 할당 및 격리 구현
• 서비스 노출 및 테스트 환경 구축을 위해 배포 레이어와 무관한 ngrok 기반의 Networking 레이어 분리 설계

Key Takeaway

인프라 설계는 미래의 잠재적 문제가 아닌 현재 직면한 실제 제약 사항을 해결하는 방향으로 결정해야 하며, 단순성에서 복잡성으로 진화하는 점진적 아키텍처 채택 원칙 준수 필요.