피드로 돌아가기
Dev.toAI/ML
원문 읽기
RAG를 통한 Hidden State 보완 및 Context Bloat 해결 전략
Hmm, where were we?
AI 요약
Context
Probabilistic Agent가 구체적인 시스템 변경을 수행할 때 인간의 Tacit Knowledge 부재로 인한 결정 오류 발생. 단순 Prompt 확장 시 Context Bloat와 비용 증가라는 아키텍처적 병목 지점 직면.
실천 포인트
1. LLM의 결정 오류 발생 시 모델 재학습 대신 RAG를 통한 맞춤형 컨텍스트 주입 가능성 검토
2. Context Window 크기 증가에 따른 토큰 비용과 성능 저하를 방지하기 위한 컨텍스트 필터링 전략 수립
3. 사용자 인터페이스 설계 시 기계적 제어 방식이 아닌 최종 목적지(Intent)를 명확히 정의하는 UX 구조 적용