PG 15+ Logical Replication을 통한 CDC 인프라 제거 및 10K TPS 최적화

Context

마이크로서비스 간 데이터 동기화를 위해 Debezium과 Kafka 기반의 복잡한 CDC 파이프라인을 운영하며 발생하는 높은 관리 비용과 인프라 오버헤드 발생.

Technical Solution

• PostgreSQL 15+의 Row Filter와 Column List 기능을 활용한 Publisher 측 데이터 필터링 구조 설계
• 서비스별 전용 Publication 생성을 통한 불필요한 네트워크 트래픽 및 직렬화 비용 제거
• max_slot_wal_keep_size 설정을 통한 Subscriber 장애 시 Primary 디스크 풀림 방지 및 WAL Bloat 제어
• ALTER SUBSCRIPTION REFRESH PUBLICATION 명령어를 통한 수동 Schema Evolution 관리 체계 구축
• 도메인 경계 기반의 Publication 설계를 통한 향후 Kafka 전환 시의 설정 청사진(Blueprint) 확보

Impact

• Write Throughput 5K~15K TPS 범위 내에서 별도 인프라 없이 Native Replication 구현
• max_slot_wal_keep_size 설정을 통한 최대 10GB 수준의 WAL 저장 공간 제한 및 가용성 확보

Key Takeaway

인프라 복잡성을 낮추기 위해 도구의 도입보다 데이터베이스 Native 기능을 우선 검토하고, Write 처리량이 임계치를 넘거나 Consumer가 다양해지는 시점에 추상화 계층(Kafka)을 도입하는 단계적 아키텍처 전략 필요.