Cassandra 1.2M TPS 달성 및 Neo4j 12ms 탐색을 통한 목적 기반 NoSQL 최적화

Context

전통적인 SQL의 고정된 Schema와 수직 확장 한계로 인한 Migration 비용 증가 및 비정형 데이터 처리 효율 저하 발생. 특히 대규모 트래픽의 쓰기 부하와 복잡한 관계 쿼리 처리 시 RDBMS의 성능 병목 지점 확인.

Technical Solution

• 대규모 로그 저장을 위해 Cassandra를 도입하고 Tunable Consistency 설정을 통해 Latency와 Durability 사이의 균형 확보
• 실시간 세션 관리의 메모리 병목 해결을 위해 RedisJSON 기반 데이터 압축 및 Redis Streams를 활용한 Ephemeral 데이터 처리 설계
• 이상 거래 탐지를 위해 Apache Kafka와 Neo4j를 조합하여 실시간 Ingestion과 Graph Traversal의 역할 분리
• MongoDB의 Document 크기 제한 및 성능 저하 방지를 위해 데이터 성장 규모에 따른 적절한 Denormalization 전략 수립 및 Collection 분리
• Query Pattern 기반의 데이터 모델링을 통해 Entity Relationship보다 Access Pattern 중심의 구조 설계 적용