Query-time 합성을 Ingest-time 컴파일로 전환한 구조적 지식 베이스 설계

LLM Wiki - Compiled Knowledge That RAG Cannot Replace

Rost2026년 5월 18일21분intermediate

AI 요약

Context

전형적인 RAG 아키텍처가 파편화된 Chunk 단위 Retrieval에 의존함에 따라 발생하는 구조적 이해 부족 문제 분석. 매 쿼리마다 반복되는 Synthesis 과정으로 인한 컴퓨팅 자원 낭비와 일관성 없는 답변 생성의 한계점 식별.

Ingest-time Synthesis 도입을 통한 지식의 사전 컴파일 구조 설계
LLM을 활용하여 Raw Documents를 Topic pages, Glossaries, Entity pages 등 구조화된 Artifact로 변환
Markdown 기반의 저장 방식을 채택하여 Inspectable 및 Versionable한 지식 레이어 구축
단순 Retrieval이 아닌 Representation 중심의 설계를 통해 도메인 간 연관 관계를 Linking 구조로 정의
Source material과 최종 응답 사이에 구조화된 Knowledge layer를 배치하여 중복 추론 단계 제거

실천 포인트

1. 데이터셋의 변동 주기 분석을 통해 RAG와 LLM Wiki 중 적합한 시점의 Synthesis 전략 선택

2. 단순 Vector DB 저장 전, LLM을 이용해 Canonical Page 및 Concept Map을 먼저 생성하는 파이프라인 검토

3. 생성된 지식의 신뢰성 확보를 위해 Human-in-the-loop 기반의 Review 프로세스 설계

태그