운영 이슈를 넘어 아키텍처로 해결하는 Document Pipeline Backpressure 대응 전략

Context

문서 처리 파이프라인 내 불규칙한 유입량과 재시도 요청 누적으로 인한 Backpressure 발생. 단순 서비스 상태 모니터링만으로는 큐 내부의 구성 성분을 파악하기 어려운 구조적 한계. 정상 케이스와 예외 케이스가 동일 경로를 공유하며 발생하는 처리 효율 저하 및 병목 현상.

Technical Solution

• 정상 처리 케이스와 리뷰가 필요한 모호한 케이스의 경로를 완전히 분리한 전용 경로 설계
• 인간의 리뷰 로직과 자동 재시도 로직을 격리하여 가용 자원 간섭을 차단하는 구조
• 큐 상태뿐 아니라 발생 원인별로 라벨을 부여하여 분류하는 큐 관리 전략
• 플래그가 지정된 모든 항목에 근거 데이터를 첨부하여 리뷰어의 진단 시간을 단축하는 설계
• 서비스 가동률(Uptime) 중심에서 큐 구성 성분(Composition) 중심으로 관찰 지점을 변경한 Observability 강화
• 문서의 모호성(Ambiguity)과 서비스 불안정성(Instability)을 구분하여 서로 다른 대응 체계를 적용하는 방식

Key Takeaway

Backpressure는 단순한 운영 최적화 대상이 아니라 큐 설계와 경로 분리라는 아키텍처 관점에서 접근해야 하는 문제. 불확실성을 조기에 분류하고 격리하는 설계가 시스템 전체의 예측 가능성과 회복 탄력성을 결정함.