100개 이상의 도구 선정 오류 해결, 계층형 필터링 아키텍처 설계

Context

LLM 컨텍스트에 모든 도구를 포함하는 방식은 컨텍스트 길이 증가에 따른 Hallucination 유발. 단순 RAG 기반 도구 검색은 사용자의 의도 파악 부족으로 엉뚱한 도구를 선택하는 한계 존재. 단일 레이어에 과도한 책임이 집중되어 시스템 신뢰성과 비용 효율성이 저하되는 구조.

Technical Solution

• gemma4:e4b 모델을 활용해 사용자 쿼리를 상위 카테고리로 매핑하는 Intent Classification 레이어 구축
• 분류된 카테고리를 기반으로 관련 없는 도구를 즉시 제거하는 Deterministic Metadata Filter 적용
• 필터링된 소규모 도구 집합 내에서 nomic-embed-text를 통해 정밀한 Semantic Search 수행
• 선택된 후보군에 대해 Confidence Scoring 및 Ranking을 적용하여 의사결정 과정의 가시성과 감사 가능성 확보
• 최종적으로 정제된 3~5개의 도구 후보와 쿼리만 LLM에 전달하여 정확한 최종 선택 유도
• API 명세서 형태가 아닌 실제 사용자 언어 기반의 자연어 도구 설명문 작성 전략 채택

Impact

• End-to-end Latency: 2초 미만 달성
• 인프라 구성: Fully local 및 Private 환경 구현

Key Takeaway

모델의 성능이나 컨텍스트 윈도우 크기에 의존하기보다 각 단계의 책임을 분리한 계층적 시스템 설계가 신뢰성 확보의 핵심. 엔지니어 관점이 아닌 사용자 언어 중심의 데이터 정의가 AI 에이전트의 판단 정확도를 결정함.