구조적 Chunking과 계층적 Context 주입을 통한 도서 번역 비용 80% 절감

How We Translate Entire Books with LLMs Without Losing Context

龚旭东2026년 6월 18일7분intermediate

AI 요약

Context

LLM의 한정된 Context Window로 인해 대규모 도서 번역 시 챕터 간 문맥 단절 및 문장 절단 현상 발생. 단순 문자 수 기준 분할 방식은 의미론적 경계를 파괴하며, 전체 텍스트 주입 시 과도한 비용과 Latency를 유발하는 구조적 한계 직면.

Document Structure Parsing를 통한 챕터 및 섹션 단위의 논리적 계층 구조 추출로 기본 단위 설정
spaCy 기반 Sentence-aware Splitting을 적용하여 의미론적 경계를 보존하고 토큰 예산(1,800 tokens) 내 최적 분할 수행
Sliding Window 기법을 활용해 이전 Chunk의 마지막 5~10개 문장을 직접 주입하여 즉각적인 문맥 연결성 확보
DeepSeek 등 저비용 모델을 이용한 Running Summary를 생성하고 이를 누적 전달하여 전역적 서사 일관성 유지
메인 번역(Claude)과 보조 요약(DeepSeek) 모델을 분리 운영하는 Hybrid Model 전략으로 비용 최적화 달성

실천 포인트

1. 단순 문자 수 분할 대신 NLP 라이브러리를 활용한 문장 단위 분할 적용 여부 검토

2. 모든 컨텍스트를 주입하는 대신 '핵심 요약'과 '인접 데이터'로 구분한 계층적 프롬프트 설계

3. 고성능 모델과 저비용 모델을 작업 성격(Main Task vs Auxiliary Task)에 따라 분리 배치하여 비용 최적화

태그