피드로 돌아가기
Dev.toAI/ML
원문 읽기
Tree-structured Context 설계를 통한 LLM Hallucination 억제 및 토큰 효율 극대화
I Built an AI Reading Companion with Tree-Structured Conversations
AI 요약
Context
기존 Linear Thread 방식의 AI 채팅은 대화 누적으로 인한 Context Pollution과 토큰 낭비를 초래함. 특히 복잡한 비문학 독해 시 주제 전환으로 인한 문맥 상실 및 Hallucination 발생이 주요 병목 지점으로 작용함.
Technical Solution
- Tree-structured Conversation 구조 설계를 통한 논리적 브랜칭 구현
- Root-to-Node 경로 기반의 Focused Context 전달로 불필요한 Noise 제거 및 응답 정확도 향상
- RAG의 근사치 검색 한계를 극복하기 위해 정밀한 on-demand access가 가능한 Agentic Approach 채택
- Source별 전용 Tool(process_book, search_papers 등)을 통한 구조적 데이터 추출 로직 구현
- Skills(Markdown)와 Session Profiles(YAML)를 분리한 계층적 설정 시스템으로 모델 동작 제어
- MCP Bridge 도입을 통한 외부 서버 및 API의 유연한 확장성 확보
실천 포인트
1. 대화형 AI 설계 시 선형 스레드 대신 상태 트리(State Tree) 도입 검토
2. 단순 Vector Search 기반 RAG 대신 도메인 특화 Tool을 이용한 Agentic Retrieval 적용
3. 모델 제어 로직을 코드와 분리하여 Markdown/YAML 기반의 설정 파일로 관리