15.14μs의 오버헤드로 LLM 출력 오류를 자동 복구하는 Self-healing Middleware

Context

LLM의 비정형 출력으로 인한 Pydantic 등 Strict Parser의 ValidationError 발생 및 시스템 Crash 빈번. 예외 처리 코드가 비대해지는 Rigid Validation 구조의 한계로 인한 런타임 안정성 저하.

Technical Solution

• Raw LLM String과 Business Logic 사이에 위치하는 Self-healing Middleware 계층 설계
• Blueprint 기반의 Target Type 정의 및 복구 불가 시 작동하는 Fallback State 설정
• Single Quote의 Double Quote 표준화를 통한 Format Normalization 수행
• LIFO Stack 기반의 미완성 괄호 및 따옴표 자동 닫기를 통한 Truncated JSON 복구
• String 형태의 숫자 및 불리언 값을 Target Type으로 강제 변환하는 Type Coercion 적용
• Decorator 패턴을 통한 핵심 로직과 데이터 정제 레이어의 완전한 분리

Impact

• Truncated JSON 복구 및 Coercion 포함 최대 15.14μs의 낮은 오버헤드 기록
• 일반적인 LLM API 호출 시간 대비 약 0.0015%의 무시 가능한 수준의 Latency 추가
• 50,000회 반복 벤치마크를 통한 런타임 Resilience 확보 확인

Key Takeaway

LLM과 같은 비결정적(Non-deterministic) 데이터 소스를 다룰 때는 검증(Validation)보다 복구(Healing) 중심의 탄력적 아키텍처 설계가 효율적임.