데이터 전송 82% 절감, AI Agent를 위한 Stateful Transport 설계

Context

Stateless HTTP API 기반 AI Agent 워크플로우의 구조적 한계. 매 턴마다 전체 대화 이력을 재전송하는 방식의 페이로드 선형 증가 문제. 네트워크 대역폭 제한 환경에서 요청 타임아웃 및 레이턴시 급증 유발.

Technical Solution

• 서버 측 메모리에 대화 이력을 유지하는 Stateful Continuation 아키텍처 도입
• WebSocket 기반의 지속 연결을 통해 매 요청마다 전체 컨텍스트를 전송하던 기존 방식 제거
• 이전 응답 ID(previous_response_id)와 새로운 툴 실행 결과만 전송하는 증분 데이터 업데이트 구조
• 불필요한 컨텍스트 재전송을 배제하여 클라이언트 페이로드 크기를 일정하게 유지하는 설계
• 툴 호출 횟수가 많은 복잡한 에이전트 루프 최적화를 위한 전송 계층 최적화 전략

Impact

• 전체 실행 시간 15~29% 개선
• 클라이언트 데이터 전송량 82% 이상 감소
• GPT-5.4 기준 TTFT 11% 감소
• 20회 이상의 툴 호출 워크플로우에서 엔드 투 엔드 실행 속도 최대 40% 향상

Key Takeaway

AI 서비스가 단순 챗봇에서 멀티 턴 에이전트로 진화함에 따라 전송 계층(Transport Layer)의 상태 관리 여부가 시스템 성능의 핵심 결정 요인으로 작용함.