Zero-Model Call 기반의 sub-millisecond 결정론적 LLM Routing 설계

Context

기존 LLM Router는 분류기 모델이나 LLM Judge를 활용하여 경로를 결정하는 구조를 가짐. 이로 인해 라우팅 단계에서 추가적인 Latency, 비용, 결과의 비결정성이 발생하는 병목 지점이 존재함.

Technical Solution

• Prompt의 길이, 헤딩, 리스트, 코드 포함 여부 등 구조적 특징(Structural Shape)을 분석하는 Deterministic Scoring 엔진 설계
• 모델 호출 없이 정적 텍스트 분석만으로 복잡도를 산출하여 microsecond 단위의 응답 속도 확보
• Lexical Cues(수학, 증명 등) 가중치를 사용자 데이터에 맞게 조정하는 Offline Calibration 메커니즘 도입
• OpenAI-compatible API Proxy 계층을 통해 기존 애플리케이션 코드 수정 없이 Base URL 변경만으로 적용 가능한 Gateway 구조 채택
• 표준 라이브러리 기반의 의존성 없는 Scoring Core 설계를 통한 런타임 오버헤드 최소화

Impact

• 결정 단계의 모델 호출을 완전히 제거하여 결정론적(Deterministic) 결과 보장
• Routing 결정 속도를 sub-millisecond 수준으로 단축하여 추론 지연 시간 최소화

Key Takeaway

모든 복잡도 판단에 ML 모델이 필요하지 않으며, 구조적 특징 기반의 휴리스틱 설계가 특정 시나리오에서 비용과 지연 시간을 극적으로 줄이는 효율적인 대안이 됨.