Storage-Compute 분리를 통한 AI Agent용 Serverless OpenSearch 구현 및 비용 60% 절감

Context

전통적인 Search 엔진의 예측 가능한 트래픽 패턴과 달리 AI Agent 기반 워크로드는 불규칙한 Burst 발생 빈도가 높음. 기존의 Provisioned Cluster 방식은 Peak Capacity 기준 설정으로 인해 유휴 컴퓨팅 자원 낭비와 비용 효율성 저하 문제가 상존함.

Technical Solution

• Storage와 Compute 계층을 완전히 분리하여 독립적 스케일링이 가능한 아키텍처로 재설계
• AWS Proprietary Storage Layer 도입을 통한 데이터 저장소와 연산 처리 로직의 디커플링 구현
• Cold Start 최적화를 통해 트래픽 유입 시 수 초 내에 인스턴스를 활성화하는 메커니즘 적용
• Compute 자원을 0까지 축소 가능한 Serverless 모델을 통해 유휴 비용 제거
• Vercel 및 Kiro IDE 통합으로 개발 워크플로우 내 직접적인 Backend 프로비저닝 환경 구축

Impact

• Peak Capacity 기준 프로비저닝 대비 최대 60%의 비용 절감 달성
• 기존 시스템 대비 Auto-scaling 속도 20배 향상