비결정적 AI 에이전트를 위한 Token-aware 메시징 아키텍처 설계

Context

결정론적 데이터 중심의 기존 메시징 인프라는 AI 에이전트의 가변적인 페이로드 크기와 비결정적 추론 특성을 수용하기에 한계가 있음. 특히 100K 토큰에 달하는 거대 컨텍스트와 예측 불가능한 트래픽 버스트로 인한 리소스 고갈 및 비용 통제 불능 문제가 발생함.

Technical Solution

• 메시지 바디 파싱 전 라우팅 및 쿼터 결정을 위해 토큰 수, 생성 모델, Trace ID를 포함한 Message Envelope 구조 도입
• Planner의 계획 객체(2-8K 토큰)와 Tool-call 결과 등 워크로드 특성에 따른 Lane-separated Topic 분리 설계
• 추론 경로의 비결정성으로 인한 중복 실행 방지를 위해 에이전트 레벨의 Idempotency Key 강제 적용
• 컨텍스트 윈도우 초과 방지를 위해 Tool-call 결과물에 대한 Chunking 및 Summarization 전처리 로직 구현
• 토큰 예산 기반의 Token-aware Rate Limiting을 적용하여 모델 비용 및 인프라 부하 최적화
• 단순 로그가 아닌 구조화된 아티팩트로 Reasoning Trace를 처리하여 에이전트 간 컨텍스트 공유 효율 증대