진단 지연 19us, 자동 복구율 84.1% 달성한 Self-Healing SDK

Context

LLM API의 비결정적 특성으로 인한 Timeout, Rate Limit, Schema Violation 등 예측 불가능한 장애가 빈번하게 발생함. 기존의 Gateway 기반 해결책은 30~200ms의 추가 Latency를 유발하며 인프라 복잡도를 증가시키는 한계가 있음.

Technical Solution

• Gateway 방식 대신 SDK 내부에 Reliability Logic을 직접 임베딩하여 네트워크 홉 제거 및 Latency 최소화
• P50 기준 19us의 빠른 진단 속도를 갖춘 Fault Diagnosis 엔진 구현
• Retry → Degrade → Failover → Learned Rule 순의 4단계 단계별 에스컬레이션 체계 설계
• 5개 차원의 출력 검증 프로세스를 통한 모델 Drift 및 Schema Violation 실시간 탐지
• 장애 패턴과 복구 전략을 학습하는 Flywheel 메커니즘을 통해 88개 이상의 자동화된 Rule 셋 구축
• httpx 단일 의존성 설계로 인프라 오버헤드를 제거한 경량 라이브러리(375KB) 구현

Impact

• 전체 장애의 84.1% 자동 복구 성공
• 280개 이상의 장애 패턴 인식 및 30개 이상의 복구 전략 확보
• 진단 지연 시간 P50 기준 19us 달성