피드로 돌아가기
Dev.toAI/ML
원문 읽기
NotebookLM 위임을 통한 Claude Code 토큰 사용량 49% 절감
Zero-Token Research: Delegating Claude Code's Heaviest Work to NotebookLM
AI 요약
Context
Claude Code의 컨텍스트 윈도우를 활용한 문서 분석 시 발생하는 과도한 Token 소모 문제 발생. 특히 다수 파일 읽기 및 URL 분석 과정에서 Retrieval 비용이 급증하며 리소스 효율성 저하.
Technical Solution
- Retrieval과 Decision Making의 역할 분리 전략 채택
- 고비용의 문서 인덱싱 및 데이터 추출 작업을 NotebookLM의 외부 인프라로 위임
- NotebookLM에서 구조화된 요약본(Summary)만 Claude Code의 컨텍스트로 주입하는 파이프라인 설계
- 세션 간 휘발되는 Claude의 메모리를 NotebookLM의 Persistent Index로 대체하여 Long-term Memory 구현
- 리서치 결과를 Decision tree와 Template으로 변환하는 DBS(Direction, Blueprints, Solutions) 프레임워크 적용
Impact
- 다수 파일 읽기 비용: 150K tokens → 5K tokens로 약 30배 감소
- URL 분석 비용: 60K tokens → 2K tokens로 절감
- 월간 전체 토큰 사용량: 4개월 만에 49% 감소 달성
Key Takeaway
LLM 아키텍처 설계 시 모든 작업을 하나의 Context Window에서 처리하지 않고, Retrieval-heavy 작업은 특화된 외부 인덱싱 엔진으로 분리하여 Token 효율성과 상태 유지 능력을 극대화함.
실천 포인트
- 3개 이상의 파일 분석 시 LLM 직접 입력 대신 외부 인덱싱 도구 활용 검토 - LLM을 '리서치 도구'가 아닌 '의사결정 도구'로 정의하고 최소한의 정제된 정보만 입력 - 세션 간 지식 유지를 위해 외부 Persistent Store에 세션 요약본을 누적 관리