1M Token 도입에 따른 RAG 대체 가능성과 Retrieval Accuracy 저하 대응 전략

Context

기존 LLM의 제한적인 Context Window로 인해 대규모 코드베이스나 문서 분석 시 Chunking 기반의 RAG 아키텍처가 강제됨. 이 과정에서 파일 경계 간의 Cross-file Context 손실과 RAG 파이프라인의 복잡성 증가라는 기술적 한계가 존재함.

Technical Solution

• Whole-repository 분석을 통한 Chunking 단계 제거 및 아키텍처 단순화
• Lost-in-the-Middle 현상 해결을 위해 핵심 컨텍스트를 Prompt의 시작과 끝에 배치하는 데이터 구조 설계
• Real-time UX 저하를 방지하기 위해 Prefill Latency가 높은 대규모 컨텍스트를 Asynchronous Workflow로 분리
• 200K Token 초과 시 발생하는 비용 할증을 회피하기 위한 Context Compression 로직 도입
• 광고된 최대 Window의 60~70% 수준을 실질적 성능 보장 한계선(Effective Context)으로 설정한 안전 설계
• 정적 지식 베이스(700K Token 이하)는 Full Context Loading으로, 동적/대규모 데이터는 RAG로 이원화하는 하이브리드 전략 채택