Sonic이 Elasticsearch 대신 경량 Rust 기반 검색 엔진을 도입해 메모리 사용량을 4GB에서 30MB 이하로 감소

Context

애플리케이션에 전문 검색 기능이 필요할 때 Elasticsearch는 최소 4GB RAM, 복잡한 클러스터 구성, JVM 메모리 오버헤드, 어려운 쿼리 DSL 학습곡선을 요구한다. 10,000개 항목 규모의 작은 데이터셋에 분산 클러스터는 과도한 부담이 된다.

Technical Solution

• Rust로 작성된 경량 스키마리스 검색 백엔드 도입: 메모리 사용량 30MB 이하, 최소 요구사항 제거
• Redis 유사의 라인 프로토콜(TCP) 사용: HTTP 및 JSON 쿼리 DSL 제거, 간단한 텍스트 푸시/쿼리 방식
• 설정 최소화 아키텍처: 매핑 설정, 인덱스 튜닝, JVM 설정 불필요
• 검색 인덱스와 데이터베이스 분리 구조: Sonic은 텍스트 검색만 수행하고 ID 반환, 실제 레코드는 원본 DB에서 조회
• 내장 기능 제공: 음성학 기반 오타 허용, 다중 컬렉션/버킷 지원, 실시간 검색 자동완성

Impact

• 검색 응답 시간 10ms 이상(full query 기준)
• 초당 처리 쿼리 수 10,000+ (일반 하드웨어 기준)
• 메모리 사용량 Elasticsearch 대비 1% 수준

Key Takeaway

대부분의 애플리케이션에서 Elasticsearch는 과도하고, 경량 단일 검색 엔진으로 충분한 성능을 얻을 수 있다. 운영 복잡도를 제거하면서도 풀텍스트 검색, 오타 허용, 자동완성 기능을 모두 확보할 수 있다는 점이 핵심이다.