LLM 모델 너머의 State 관리와 MCP 기반 확장성 확보를 통한 Production-ready AI Agent 설계

Context

단순 데모 수준의 AI Agent는 Stateless 특성과 예외 처리 부재로 인해 실제 프로덕션 환경에서 지속 가능성이 낮음. 특히 세션 간 상태 유지의 어려움과 외부 툴 통합 시 발생하는 중복 개발 비용이 주요 병목 지점으로 작용함.

Technical Solution

• LangGraph의 Postgres Checkpointer 도입을 통한 실행 상태의 영속화 및 크래시 발생 시 중단 지점부터의 Resume 기능 구현
• Thread_id 기반의 사용자별 세션 격리 구조 설계를 통한 멀티 테넌트 환경의 상태 관리 최적화
• Model Context Protocol(MCP) 채택으로 개별 도구마다 작성하던 Custom Glue Code를 표준 프로토콜 기반의 플러그인 구조로 전환
• Short-term Memory(Postgres)와 Long-term Memory의 계층적 분리를 통한 컨텍스트 윈도우 효율화 및 사용자 개인화 구현
• LangSmith 또는 Langtrace를 활용한 Agent Trace와 User Session의 상관관계 매핑으로 디버깅 가시성 확보