피드로 돌아가기
Dev.toAI/ML
원문 읽기
1M Token Window 한계 극복을 위한 Label-based Routing 기반 Context 최적화
My AI pipeline had a 1M token context window. The output still got worse.
AI 요약
Context
3개 저장소의 컨텍스트를 통합하여 Root Cause Analysis를 수행하는 AIOps 파이프라인 구조. 고정된 예산 분할(50/35/15) 방식으로 인해 티켓 유형과 무관하게 불필요한 코드가 포함되어 LLM의 추론 품질이 저하되는 병목 발생.
Technical Solution
- Ticket Label 및 Component 정보 기반의 Label-based Routing 체계 도입으로 도메인별 최적 컨텍스트 추출
- 티켓 성격(Scheduling, Auth 등)에 따라 저장소별 Budget Split을 동적으로 조정하여 노이즈 최소화
- TypeScript, Go, Node.js 등 언어별 상이한 디렉터리 컨벤션을 반영한 개별 Routing Table 설계
- Stable Content를 상단에, Ticket 정보를 하단에 배치하는 Prompt Restructure를 통해 모델의 Attention 집중도 향상
- LLM 입력 전 단계에서 Deterministic Pre-filtering을 수행하여 입력 데이터의 순도 확보
실천 포인트
- LLM의 Context Window 크기보다 입력 데이터의 Quality가 추론 성능에 더 큰 영향을 미치는지 검토 - 고정 비율의 데이터 샘플링 대신 도메인 지식 기반의 동적 필터링 로직 적용 고려 - Prompt 구성 시 불변 데이터와 가변 데이터의 배치를 최적화하여 Attention 손실 방지