피드로 돌아가기
Dev.toAI/ML
원문 읽기
Context Window 최적화를 위한 Knowledge Atom 기반 Retrieval 설계
THE KNOWLEDGE ATOM // Writing for Machines That Read
AI 요약
Context
LLM의 Context Window를 저장소로 오인하여 모든 정보를 주입하는 Dump 방식의 한계 직면. 과도한 Token 입력으로 인한 Signal 희석과 모델의 집중력 저하 및 비용 증가 문제 발생.
Technical Solution
- Knowledge Atom 단위의 원자적 정보 분해를 통한 데이터 중복 제거 및 단일 개념 유지
- Hot/Cold Knowledge 분류 체계 도입으로 상시 로드 데이터 최소화 및 비용 최적화
- Router 기반의 Indexing 구조 설계를 통한 상황별 Cold Knowledge의 정밀한 소환 체계 구축
- Router 내 지식 포함을 금지하고 Pointer만 유지하여 Index의 비대화를 방지하는 구조 설계
- Recall 최적화 전략을 통한 Trigger 범위 설정과 정밀한 Pruning 프로세스 적용
- AI-first 작법 도입으로 Narrative를 제거하고 순수 Signal 위주의 데이터 구조화
실천 포인트
- 하나의 파일에 두 개 이상의 개념이 포함되었는지 확인하고 원자 단위로 분리 - 모든 지식을 Cold Knowledge로 정의하고 상시 필요한 최소 정보만 Hot으로 분류 - Atom 생성과 동시에 Router Pointer 등록을 단일 트랜잭션으로 처리 - 인간 중심의 서술형 문장을 제거하고 기계 가독성을 위한 신호 중심 데이터로 변환