Postgres WAL 기반 CDC를 통한 Redis Read Model 실시간 동기화 구현

Context

어플리케이션 레이어에서 Postgres와 Redis에 동시 쓰기를 수행할 때 발생하는 원자성 결여 문제 분석. 네트워크 장애나 부분 실패 발생 시 Source of Truth와 Cache 간 데이터 불일치가 발생하는 구조적 한계 직면.

Technical Solution

• Postgres Logical Replication의 WAL(Write-Ahead Log)을 활용하여 커밋된 변경 사항만 추출하는 CDC 아키텍처 도입
• pgoutput 플러그인을 통해 행 수준의 Insert, Update, Delete 이벤트를 실시간 캡처하는 파이프라인 구성
• Redis Command Template 설계를 통한 DB 행 데이터의 Redis Hash, Set, Sorted Set 등 다양한 데이터 구조로의 유연한 투영(Projection)
• Batched Pipeline 쓰기 방식을 적용하여 Redis로의 쓰기 처리량 최적화 및 오버헤드 감소
• REPLICA IDENTITY FULL 설정을 통해 삭제 및 업데이트 시 이전 값 비교가 가능한 데이터 정밀도 확보