Prompt 주입 최소화와 Tool 기반 Retrieval 분리로 구현한 효율적 Agent Context 설계

Context

LLM의 Generic Knowledge와 기업의 Private Knowledge 간의 격차를 해결하기 위한 아키텍처 설계 필요. 모든 문서를 Prompt에 포함하는 방식은 비용 상승, Context Window의 불안정성, 권한 제어 불능 등의 기술적 한계를 초래함.

Technical Solution

• RAG를 Agent의 내부 기능이 아닌 외부 Retrieval Layer로 분리하여 결합도 완화
• Retrieval 기능을 SearchKnowledgeAsync 형태의 전용 Tool로 노출하여 LLM이 필요 시점에만 컨텍스트를 호출하는 On-demand 구조 설계
• Model은 Query 및 Category 파라미터를 결정하고, Application은 실제 검색 로직과 권한 필터링을 수행하는 책임 분리 모델 채택
• Vector Store(Azure AI Search, pgvector 등)의 구체적 구현체를 추상화 인터페이스 뒤로 숨겨 인프라 변경 유연성 확보
• 정밀한 데이터 접근을 위해 RAG 대신 결정론적 코드(Deterministic Code)를 통한 상태 조회 및 비즈니스 룰 처리 경로 구분