Async Request Coalescing을 통한 Embedding Inference 비용 최적화 및 처리량 개선

Context

Production RAG 시스템에서 개별적으로 발생하는 Embedding 요청으로 인한 API 호출 횟수 증가 및 추론 지연 발생. GPU 자원 및 클라우드 엔드포인트의 고비용 구조로 인해 개별 요청 처리 방식의 경제적 효율성 저하.

Technical Solution

• Asynchronous Queue를 도입하여 단기 시간 윈도우 내 유입되는 요청을 일시적으로 집합
• predefined size 도달 또는 timeout 발생 시 축적된 요청을 단일 Batch로 전환하여 처리
• 요청 집계(Coalescing) 과정을 통해 Embedding Model 호출 횟수를 획기적으로 감소시킨 구조
• Parallel Processing 최적화를 통한 개별 요청의 Inference Latency 단축 및 전체 Throughput 향상
• Multi-LLM 세션 간 컨텍스트 공유를 위한 메시징 플러그인 설계를 통한 Agent Orchestration 구현
• Claude 4.6/4.7 기반의 반복적 코드 생성 및 배포 파이프라인을 통한 실시간 Multiplayer Game 시스템 구축