Backboard.io가 서로 다른 컨텍스트 크기의 LLM 간 라우팅 시 발생하는 상태 관리 문제를 Adaptive Context Management로 자동 해결

Context

다중 LLM 라우팅 환경에서 모델별 컨텍스트 창 크기가 상이하여 대규모 컨텍스트가 작은 모델로 전환 시 정보 손실이 발생한다. 기존 방식은 개발자가 모델마다 개별적으로 트렁케이션 및 요약 로직을 구현해야 하며, 이는 brittle한 코드를 야기한다.

Technical Solution

• 요청 라우팅 시 Backboard 런타임에서 대상 모델의 컨텍스트 창 크기를 동적으로 조회한다
• 컨텍스트 예산을 20% raw state와 80% intelligent summarization으로 자동 분리한다
• raw state 내에서 system prompt, recent messages, tool calls, RAG results, web search context 순으로 우선순위를 부여한다
• 요약 실패 시 이전에 사용된 큰 모델로 백오프하여 효율적인 압축을 수행한다
• 모든 처리 과정이 요청 및 tool call 도중 자동 실행된다

Impact

컨텍스트 사용량을 실시간 추적할 수 있는 context_usage 필드를 msg 엔드포인트에 직접 노출한다

Key Takeaway

모델을 상호 교환 가능한 인프라로 취급하려면 상태가 다양한 컨텍스트 제약 조건 사이에서 안전하게 이동할 수 있어야 하며, Backboard가 이 안전 레이어를 담당한다