피드로 돌아가기
Dev.toAI/ML
원문 읽기
AI API 기반 시맨틱 검색 도입을 통한 서포트 티켓 30% 감소
I Needed a Smart Search — So I Called an AI API (No Model Training)
AI 요약
Context
ElasticSearch 및 Fuzzy Matching 기반의 Keyword Search 환경에서 사용자 의도 파악 실패로 인한 검색 품질 저하 발생. Synonym Dictionary 및 spaCy 라이브러리 도입을 시도했으나 과도한 유지보수 비용과 200MB의 번들 크기 증가 및 추론 속도 저하라는 한계 직면.
Technical Solution
- Model Training 및 Fine-tuning을 배제한 Prompt Engineering 중심의 Lightweight AI API 아키텍처 설계
- 문서 전체를 작은 단위의 Paragraph로 분할하여 Metadata와 함께 관리하는 Chunking 전략 채택
- 사용자 Query와 Chunked Content를 하나의 Prompt로 결합하여 AI API에 전달하는 Zero-shot Retrieval 방식 구현
- 전용 서버 없이 HTTP POST 요청만으로 의도 파악 및 관련 문서 ID를 매핑하는 단순한 Backend Pipeline 구축
- GPU 인프라 없이 API 호출만으로 Embedding 및 Cosine Similarity 연산을 대체하여 인프라 복잡도 제거
실천 포인트
- 응답 속도 개선을 위한 Response Streaming 적용 검토 - 비용 최적화 및 Latency 감소를 위한 빈번한 쿼리 대상 Cache Layer 설계 - 단순 키워드 쿼리는 ElasticSearch, 복잡한 의도 파악은 AI API를 사용하는 Hybrid Search 구조 고려 - 외부 API 전송 시 데이터 프라이버시 및 보안 정책 준수 여부 확인