Memory Pointer 도입으로 Token 사용량 20M에서 1,234개로 획기적 절감

Context

LLM 기반 Agent가 Tool Call 결과로 방대한 데이터를 수신할 때 Context Window를 초과하여 발생하는 Silent Failure 분석. 단순 에러 발생이 아닌 데이터 절단 및 문맥 소실로 인한 응답 품질 저하와 Token 낭비가 핵심 문제임.

Technical Solution

• Memory Pointer Pattern을 통해 대용량 데이터를 agent.state에 저장하고 LLM에는 짧은 참조 식별자만 전달하는 구조 설계
• 필요한 시점에만 특정 Tool이 Pointer를 Resolve하여 데이터에 접근함으로써 Context Window 점유율 최소화
• MCP(Model Context Protocol) 기반 외부 API 호출 시 발생하는 Blocking 현상을 방지하기 위해 handleId 기반의 Asynchronous Pattern 적용
• 작업 시작 Tool은 즉시 job_id를 반환하고 별도의 check_status Tool을 통해 상태를 폴링하는 비동기 워크플로우 구축
• Reasoning Loop 방지를 위해 DebounceHook과 명확한 Terminal State(SUCCESS/FAILED)를 정의하여 중복 호출 차단
• ToolContext API를 활용해 전역 변수 없이 각 Agent별 독립적인 Key-Value Store를 유지하는 상태 관리 체계 구축