LLM Multi-Provider 전략과 Tool Calling으로 고객 응대 93% 자동화 달성

Context

다양한 판매 채널의 주문 데이터를 처리하는 Node.js 기반 WMS 환경에서 단순 반복 문의의 급증으로 인한 운영 병목 발생. 기존 데이터 레이어는 존재했으나 이를 추론하여 실제 액션으로 연결할 AI 에이전트 계층의 부재로 인한 수동 처리 한계 직면.

Technical Solution

• RabbitMQ를 통한 비동기 메시징 구조 설계로 AI 서비스의 Stateless 확장성 및 결함 내성 확보
• MongoDB의 실시간 주문 데이터를 기반으로 human-readable 형태의 동적 Prompt를 구성하여 LLM의 추론 정확도 향상
• Claude와 Gemini를 통합 Provider Interface로 추상화하여 Latency, 비용, 추론 복잡도에 따른 동적 라우팅 및 Failover 체계 구축
• Tool Calling 기반의 에이전트 설계로 주소 변경, 환불 처리 등 데이터베이스 변경 권한을 부여한 능동적 서비스 구현
• 비즈니스 로직 검증 단계를 Prompt가 아닌 Server-side 코드에서 강제하여 LLM Hallucination으로 인한 오작동 원천 차단
• Temperature 설정(0.2-0.3) 최적화를 통해 고객 서비스에 부적합한 창의적 응답을 억제하고 일관된 결과 도출

Impact

• 전체 인바운드 메시지의 93% 이상을 상담원 개입 없이 자동 해결
• 응답 소요 시간을 기존 4~8시간에서 30초 미만으로 단축
• AI 응답 적용 채널의 고객 만족도(CSAT) 18% 상승
• 주당 약 12,000건의 메시지 처리량을 효율적인 API 비용으로 달성