Checkpoint 및 Message Queue 도입을 통한 LLM 스트리밍 제어 최적화

Context

LLM 스트리밍 중 사용자 입력 차단 및 상태 동기화 지연으로 인한 UX 저하 발생. 기존의 복잡한 WebSocket 핸들러 로직과 파편화된 Tool Call 포맷으로 인해 시스템 유지보수 비용 증가 및 런타임 오류 빈도가 높은 상태임.

Technical Solution

• ReActCore 내 3단계 Checkpoint(content_ended, before_tool_calls, after_tool_calls) 설계를 통한 실행 흐름의 정밀 제어 및 상태 동기화 구현
• async enqueue/drain 기반의 MessageQueue 클래스 도입으로 LLM 실행 중으로 유입되는 메시지의 비동기 처리 및 순차적 자동 전송 구조 설계
• WebSocket 핸들러를 단순 전송 계층으로 추상화하고 RunContext가 이벤트 루프를 소유하는 구조로 리팩토링하여 책임 분리
• ToolUseBlock을 OpenAI 표준인 tool_calls 리스트 기반의 ToolCallsBlock으로 통합하여 내부 데이터 포맷 일원화
• tiktoken 기반의 청크 단위 실시간 토큰 추정 및 API 최종 값 덮어쓰기 로직을 통한 정밀한 사용량 트래킹 구현
• aclose() 호출 시 CancelledError를 정상 종료로 처리하는 예외 핸들링 최적화로 불필요한 에러 전파 방지