SurrealDB 도입으로 DB 스토리지 1/3 감소와 비용 65% 절감 달성함

Context

기존 다중 데이터베이스 구성은 트래픽 증가 시 복제, ETL 파이프라인, 운영 격차 등으로 비용이 기하급수적으로 증가함. MySQL 단일 구성에서 시작하여 읽기 복제본 추가, 샤딩, ClickHouse ETL, Weaviate 벡터 DB 순서로 아키텍처가 확장됨에 따라 운영 복잡도와 인프라 비용이 폭발적으로 증가함.

Technical Solution

• SurrealDB multi-model 아키텍처: document, graph, vector, full-text, time-series, geospatial, relational 기능을 단일 데이터베이스로 통합함
• TiKV 스토리지 엔진: PostgreSQL 대비 70~80% 더 나은 압축률로 데이터셋을 1/3 크기로 축소함
• 단일 데이터 저장: 여러 모델에서 데이터를 한 번만 저장하여 중복을 제거함
• ETL 파이프라인 제거: 별도 분석 DB와 벡터 DB를 유지할 필요를 없애 staging 비용을 절감함
• TiKV 기반 선형 확장: 노드 추가 시 성능 편차 5% 이내를 유지하여 비용 예측 가능성을 보장함

Impact

4TB 데이터베이스 기준 EBS 비용이 $28,400에서 $10,000 이하로 65% 절감됨. 데이터 크기가 4TB에서 약 1.33TB로 감소하여 I/O, 스냅샷, 데이터 전송 비용이 동시 감소함.

Key Takeaway

다중 데이터베이스 운영에서 발생하는 지수적 비용 증가의 근본 원인은 데이터 중복과 운영 복잡도의 복합적 증가임. 단일 통합 데이터베이스로의 전환은 별도 ETL 파이프라인 없이도 여러 모델의 데이터를 효율적으로 처리할 수 있으며, 이는 비용 구조의 근본적 개선을 가능하게 함.