피드로 돌아가기
Dev.toAI/ML
원문 읽기
RAG의 한계를 극복한 실시간 시스템 쿼리 기반 Agentic Support 설계
Agentic Support Agent for a Platform Teamr
AI 요약
Context
플랫폼 팀의 반복적인 기술 지원 부하를 줄이기 위해 RAG 기반 챗봇을 도입했으나, 문서의 최신성 결여와 Chunking 전략의 한계로 인해 잘못된 정보가 제공되는 Hallucination 문제 발생.
Technical Solution
- 문서 검색 방식에서 탈피하여 실제 시스템 상태를 확인하는 Agentic Workflow로 전환
- 소스 코드 직접 분석을 위한 Repo Cloning 및 Search Tool 제공을 통한 실시간 Truth Source 확보
- Logs, Metrics, Deployment History 등 실시간 데이터 소스에 접근 가능한 Tooling 인터페이스 설계
- 정적 지식(서비스 정의, 기술 스택)과 동적 지식(코드 동작, 시스템 상태)을 분리한 2-Tier 지식 구조 채택
- 'What'은 라이브 시스템 쿼리로, 'Why'는 Decision Doc 참조로 역할을 분리하여 정보의 신선도 유지
- 인간 엔지니어의 On-call 업무 프로세스를 모사한 '기초 지식 습득 후 필요 시 시스템 탐색' 로직 구현
실천 포인트
1. 지식 베이스 구축 전, 실제 운영 엔지니어가 문제 해결을 위해 수행하는 워크플로우를 분석했는가?
2. 정적인 설명 문서(Prose)와 실제 동작하는 코드(Code) 중 어떤 것이 더 신뢰할 수 있는 Truth Source인지 정의했는가?
3. LLM에게 단순 문서 검색 권한 대신, API나 CLI를 통한 시스템 상태 확인 Tool을 제공할 수 있는가?
4. '설계 의도(Why)'와 '구현 상세(What)'를 분리하여 문서화하고 이를 적절한 시점에 제공하는 구조인가?