LLM Reasoning 파편화 해결을 위한 Unified Abstraction Layer 설계

Context

LLM Reasoning 기능 도입으로 모델 성능은 향상되었으나 Provider별 제어 방식과 출력 스키마의 파편화로 인프라 복잡도 급증. 단순 API 라우팅을 넘어선 Provider별 Input Normalization 및 Output Parsing 로직의 중복 구현으로 인한 유지보수 비용 증가 상황.

Technical Solution

• Provider별 상이한 Reasoning Effort 및 Token Budget 설정을 통합 관리하는 Single Reasoning Parameter 도입
• 서로 다른 응답 구조를 단일 포맷으로 변환하는 Standardized I/O Interface 구축을 통한 모델 간 상호 운용성 확보
• Reasoning Token의 과금 체계 차이를 추상화한 Cost Translation Layer 설계를 통한 비용 예측 가능성 확보
• 모델 교체 시 로직 수정 없이 Reasoning Continuity를 유지하기 위한 Portable State Management 계층 구현
• 모델별 특이 행동을 캡슐화하여 런타임 디버깅 오버헤드를 줄이는 Unified Abstraction Layer 적용