장애 모드 중심 설계로 달성한 예측 가능한 백엔드 시스템 구축 전략

Context

외부 API 의존성으로 인한 메시지 전송 실패 가능성 존재. 동시 예약 요청 시 발생하는 데이터 경쟁 상태로 인한 중복 예약 문제 발생. LLM 응답 생성 시 발생하는 긴 대기 시간으로 인한 사용자 경험 저하.

Technical Solution

• 외부 API의 일시적 오류 해결을 위해 15분간 3회 시도하는 Exponential Backoff 전략 및 멱등성 키 적용
• 분산 락 없이 DB 수준의 Atomic Update와 조건부 WHERE 절을 활용한 동시성 제어 및 Race Condition 원천 차단
• HTTP 응답 사이클 최소화를 위해 Celery 기반 비동기 작업 큐를 도입하여 무거운 프로세스를 Request Cycle 외부로 분리
• LLM 응답 지연 해소를 위해 Server-Sent Events(SSE)를 통한 토큰 단위 스트리밍 방식 및 ThreadPoolExecutor 병렬 처리 구조 설계
• 데이터 일관성 확보를 위해 모든 시간을 UTC로 저장하고 출력 및 전송 시점에만 현지 시간으로 변환하는 표준화 전략
• 불필요한 폴링 제거를 위해 Celery의 eta 파라미터를 활용한 정밀 예약 전송 아키텍처 구현

Impact

• VPS 월 비용 $5 미만으로 시스템 운영
• LLM 응답의 Sub-second Time-to-First-Token 달성
• Telegram Chat Manager의 경우 약 20MB 크기의 단일 실행 파일로 패키징

Key Takeaway

해피 패스가 아닌 장애 모드를 먼저 설계하고, 검증된 기술 스택을 선택하여 운영의 예측 가능성과 단순함을 유지하는 것이 시스템 안정성의 핵심임.