Intent Detection 및 Pre-generation 도입으로 토큰 사용량 88% 절감

Two Patterns for Reducing LLM Costs in Data-Heavy RAG Apps

Lucas2026년 6월 23일10분intermediate

AI 요약

Context

구조화된 텔레메트리 데이터를 기반으로 한 RAG 앱에서 모든 세션 데이터를 Context Window에 주입하는 Naive한 접근 방식을 채택. 이로 인해 쿼리당 8,000~12,000 토큰이 소모되는 비용 폭증 문제와 불필요한 정보 주입으로 인한 LLM 응답 품질 저하가 발생.

Technical Solution

Intent Detection 기반의 Conditional Context 구축을 통해 사용자 질의 의도에 부합하는 특정 SQL 데이터만 선택적으로 fetch 하는 구조 설계
정규화된 키워드 매칭을 통한 의도 분류로 Qualifying, Race, Telemetry 등 도메인별 데이터 로드 로직을 분리하여 Context Bloat 방지
LLM이 직접 차트 생성 코드를 작성하게 하는 대신, 백엔드에서 데이터를 사전 처리하여 시각화하는 Pre-generation 패턴 적용
LLM에게는 데이터 분석 결과와 차트 존재 여부만 전달하여 Output Token 소모를 줄이고 Hallucination 가능성을 원천 차단
구조화된 데이터 특성에 맞춰 Semantic Search 대신 키워드 및 의도 기반의 Retrieval 메커니즘을 매칭하여 정확도 향상

실천 포인트

1. LLM Context에 모든 데이터를 밀어넣기 전, 의도 분류를 통한 Conditional Fetching 적용 검토

2. 코드 생성이나 복잡한 수식 계산이 필요한 출력물은 LLM에 맡기지 말고 Pre-generation 패턴으로 백엔드에서 처리

3. 데이터 성격(정형 vs 비정형)에 따라 Vector Search와 Keyword/Intent Search 중 적합한 Retrieval 방식 선택

태그

#Context Window #RAG #Token Optimization #Pre-generation #Intent Detection

원문 읽기