Polling 제거를 위한 Postgres WAL 기반 CDC 시스템 Kaptanto 설계

Context

상태 변경 확인을 위해 주기적으로 쿼리를 수행하는 Polling 방식의 리소스 낭비 및 지연 시간 발생 문제 해결 필요. 기존 CDC 도구들의 과도한 오버엔지니어링과 JVM 기반의 무거운 인프라 요구 사항에 따른 진입 장벽 존재.

Technical Solution

• Postgres의 Write-Ahead Log(WAL)를 활용하여 모든 데이터 변경 사항을 순차적으로 스트리밍하는 논리적 복제(Logical Replication) 구조 채택
• REPLICA IDENTITY FULL 설정을 통한 Update 이벤트 시 변경 전/후 값의 완전한 캡처 보장
• MongoDB Change Streams의 Cursor 기반 API를 통합하여 이기종 데이터베이스 간 통일된 이벤트 스키마 정규화 구현
• 초기 상태 동기화를 위한 Snapshot 추출과 실시간 스트림 연결 사이의 데이터 유실 방지를 위한 정밀한 커서 관리 설계
• SSE, gRPC, NDJSON 등 다양한 출력 포맷 제공으로 컨슈머의 요구 사항에 따른 전송 효율 최적화

Key Takeaway

데이터베이스 내부의 복제 로그(WAL/Oplog)를 직접 활용함으로써 애플리케이션 레벨의 이벤트 발행 부담을 제거하고 시스템 전반의 데이터 일관성과 실시간성을 확보하는 설계 원칙.