Local Evaluation와 SSE 기반 50ms 수준의 실시간 Feature Flag 제어

Context

환경 변수나 DB 기반의 Feature Flag 관리는 변경 시마다 재배포가 필요하거나 인스턴스 간 설정 동기화 지연 문제를 야기함. 특히 배포(Deployment)와 출시(Release)의 결합으로 인해 장애 발생 시 롤백 시간이 길어지는 아키텍처적 제약 존재.

Technical Solution

• In-process Local Evaluation 방식을 통한 네트워크 홉 제거 및 요청 경로 내 지연 시간 최소화
• Server-Sent Events(SSE) 기반 스트리밍 연결을 통한 플래그 변경 사항의 실시간 동기화 구현
• Memory Cache 기반의 룰 엔진을 구축하여 수천 개의 플래그 평가 시에도 일정한 성능 유지
• Request-level EvalContext 주입을 통한 유저별/속성별 정밀한 Targeting 제어 구조 설계
• Singleton Client 패턴 적용으로 API 호출 부하 방지 및 리소스 누수 차단
• SIGTERM 핸들러 내 close() 호출을 통한 SSE 연결 및 텔레메트리 버퍼의 안전한 Flush 처리