LangGraph 기반 State Machine 도입을 통한 Token 비용 최적화 및 LLM 워크플로우 정밀 제어

Context

단순 OpenAI Wrapper의 선형적 Prompt Chain 구조로 인한 무분별한 Chat History 전송 및 Token 낭비 발생. 특히 모호한 쿼리에 따른 무한 루프와 비효율적인 RAG 컨텍스트 로딩으로 인한 운영 비용 급증 및 할루시네이션 문제 노출.

Technical Solution

• 단순 선형 체인을 Cycle과 State Preservation이 가능한 Graph 기반 State Machine 구조로 전환
• FastAPI 백엔드 내 Controlled Routing을 구현하여 단순 작업은 경량 모델로, 복잡한 요청만 고비용 모델로 분기 처리
• Cyclic Self-Correction 노드를 설계하여 도구 출력값의 이상 징후 감지 시 사용자 응답 전 자체 보정 루프 수행
• PostgreSQL 기반 Database Checkpointer를 활용한 정밀한 State Persistence 구현으로 필요한 시점에 최소한의 컨텍스트만 로드
• 비즈니스 로직을 독립적인 Node와 Edge로 분절하여 LLM의 자유로운 탐색 범위를 제한하고 실행 경로를 구조화