CAP 정리와 회복력 패턴으로 설계하는 고가용성 분산 시스템

Context

네트워크 파티션 발생 시 데이터 일관성과 가용성 사이의 트레이드오프 발생. 잘못된 일관성 모델 선택으로 인한 데이터 불일치와 금전적 손실 위험 존재. 서비스 간 의존성으로 인한 장애 전파 및 시스템 전체 붕괴 가능성 상존.

Technical Solution

• 데이터 성격에 따른 일관성 전략 분리 설계. 결제 및 재고 관리에는 Strong Consistency(CP)를 적용하고 콘텐츠 및 프로필 정보에는 Eventual Consistency(AP)를 채택
• 서비스 장애 전파 방지를 위한 Circuit Breaker 도입. CLOSED, OPEN, HALF-OPEN 상태 전환을 통해 실패한 요청을 즉시 차단하고 리소스 고갈 방지
• Thundering Herd 현상 해결을 위한 Exponential Backoff 및 Jitter 적용. 재시도 간격을 지수적으로 늘리고 무작위 시간을 추가하여 트래픽 분산 유도
• 재시도 대상 범위를 HTTP 429, 502, 503, 504 및 네트워크 타임아웃으로 제한하여 불필요한 부하 제거
• 데이터 중복 생성 방지를 위해 POST 요청 시 Idempotency Key를 활용한 멱등성 보장 구조 설계
• 시스템 일부 장애가 전체로 확산되지 않도록 격리 구역을 설정하는 Bulkhead 패턴 적용

Impact

• 복제 지연(Replication Lag) 3초 발생 시 EU 지역 가격 불일치로 인한 200K 달러 환불 비용 발생

Key Takeaway

분산 시스템 설계 시 비즈니스 도메인에 맞는 일관성 수준을 정의하고, 실패를 전제로 한 회복력 패턴을 계층적으로 적용하여 시스템 안정성을 확보해야 함.