LLM Statelessness 해결을 위한 LangChain 기반 Memory 전략 설계

Context

LLM의 기본 특성인 Statelessness로 인한 이전 대화 맥락 망각 문제 발생. 모든 요청 시 전체 컨텍스트를 다시 전달해야 하는 구조적 한계로 인해 Context Window 초과 및 토큰 비용 증가 위험 존재.

Technical Solution

• ConversationBufferMemory를 통한 전체 대화 이력 저장으로 단기 대화의 정확한 문맥 유지
• ConversationSummaryMemory 도입으로 LLM이 대화 내용을 실시간 요약하여 Context Window 점유율 최적화
• ConversationBufferWindowMemory의 k-값 설정을 통한 최신 N개 상호작용 유지 및 예측 가능한 토큰 비용 제어
• 대화 규모와 목적에 따른 Memory 타입 선택을 통해 메모리 효율성과 응답 정확도 간의 Trade-off 조정
• LangChain 프레임워크 기반의 Memory 추상화 계층을 통한 상태 관리 로직 분리