Model ID 동일 환경 내 세션별 성능 편차 유발하는 Silent Rollout 구조 분석

Context

동일한 Model ID와 Prompt를 사용함에도 세션마다 출력 품질이 상이하게 나타나는 현상 발생. 이는 LLM 벤더의 내부적인 A/B Testing 및 Traffic Slicing 전략으로 인해 세션별로 서로 다른 코드 경로와 시스템 프롬프트가 할당되는 구조적 한계에서 기인함.

Technical Solution

• Traffic Slicing 기반의 실험군 할당을 통한 세션별 독립적 기능 배포 구조 채택
• Session-sticky Assignment 방식을 적용하여 세션 생명주기 동안 동일한 실험 변수 유지
• System Prompt Versioning을 통한 Tool-call 동작 제어 및 25-word cap 등의 제약 조건 실시간 적용
• Beta-flag Gating 메커니즘을 통한 헤더 기반의 실험 기능 활성화 및 제어
• Mid-session Update push 방식을 통한 활성화된 세션 내의 즉각적인 로직 변경 반영
• Model ID와 별개로 작동하는 서버 사이드 실험 변수(Message Queuing, Thinking Display)의 병렬 운용