토큰 64% 절감 및 Latency 50% 개선을 통한 LLM Context Window 최적화

Context

대규모 Context Window 모델 도입 시 발생하는 비용 증가와 Latency 상승 및 'Lost in the Middle' 현상으로 인한 품질 저하 문제 식별. 단순히 윈도우 크기를 늘리는 방식으로는 정보 누락과 성능 저하를 해결할 수 없는 기술적 한계 직면.

Technical Solution

• Recent Turns 유지 및 임계치(20 turns) 기반의 증분 요약(Incremental Summarization)을 적용한 Sliding Window 구조 설계
• Tool Call 이력 전체 전송 대신 Embedding 기반 Cosine Similarity를 활용하여 현재 단계와 관련성 높은 Top-K 정보만 추출하는 Relevance-based Retrieval 도입
• 결정적 정보 유실 방지를 위해 Structured Output Schema 기반의 전용 추출 단계를 거쳐 사용자 프로필 및 세션 상태를 관리하는 Structured Memory 구축
• RAG 시스템 내 대규모 문서 주입 전 Context Compression을 수행하여 입력 토큰 최적화 및 응답 품질 유지
• Compression 전 단계에서 최근 대화 맥락을 반영한 Query Rewriting을 수행하여 지시어 모호성 해결