Overlapping Chunking 기반 LLM 컨텍스트 제한 극복 전략

Context

Local 모델 및 저비용 Cloud 모델의 제한적인 Context Window로 인한 대용량 파일 처리 불가 문제 발생. 입력 데이터 규모가 모델 수용량을 초과할 때 발생하는 정보 손실 및 Hallucination 현상을 해결해야 하는 상황.

Technical Solution

• 11,000자 크기의 Chunk 생성 및 1,000자의 Overlap 설정을 통한 문맥 단절 방지 설계
• awk 기반의 전처리 파이프라인 구축으로 LLM 입력 전 데이터 분할 단계의 효율성 확보
• Ollama 및 Cloud API(Mistral, Groq)를 선택적으로 활용하는 유연한 모델 추상화 구조 채택
• 각 Chunk별 요약 결과와 Thinking Process를 분리 저장하여 추론 과정의 투명성 확보
• 분할 요약된 결과물을 최종적으로 Stitching 하여 전체 문서의 맥락을 유지하는 Map-Reduce 방식의 요약 워크플로우 구현