Prompt-Tool Drift 해결을 통한 LLM Agent Tool-call Hallucination 제거

Context

Agent의 Toolset 확장 과정에서 System Prompt의 설명과 실제 Code Registry 간의 불일치로 인한 Tool Definition Drift 발생. Prompt 내 구식 정보 유지로 인한 Tool-call Hallucination 및 사용되지 않는 Orphan Tool로 인한 Input Token 낭비 문제 직면.

Technical Solution

• System Prompt와 Tool Registry를 단일 데이터 구조로 통합하여 정기적으로 비교하는 Schema-vs-Prompt Diff 로직 구현
• Regex 기반의 Prompt 분석을 통해 Registry 전용, Prompt 전용, 공통 Tool을 분류하는 DriftReport 구조 설계
• 실제 Trace Log 기반의 Coverage Histogram을 생성하여 Tool 선택 빈도 및 지배적 Tool-set 분석
• CI 파이프라인 내 Diff 검증 단계 추가를 통한 Prompt와 Registry 간 동기화 강제
• 대규모 Toolset 관리 시 Router 도입을 통한 Candidate Set 최적화 및 Fallback Tool 설계를 통한 Misroute 리스크 완화

Key Takeaway

Prompt는 단순한 텍스트가 아닌 Toolset의 인터페이스 정의서이며, 이를 코드 수준에서 정적으로 검증하고 런타임 텔레메트리로 지속 모니터링하는 엔지니어링 루프 구축이 필수적임.