데이터 슬리밍과 Human-in-the-loop를 통한 LLM 메일 에이전트 최적화

Context

LLM에 직접적인 메일함 접근 권한을 부여할 때 발생하는 보안 취약점과 토큰 비용 급증 문제를 해결해야 함. 특히 모델이 제어권을 가질 때 발생하는 원치 않는 메일 발송 및 프롬프트 인젝션 공격에 대한 방어 체계가 부재한 상황임.

Technical Solution

• Tool Definition 최적화를 통해 파라미터 수를 3~5개로 제한하여 모델의 추론 신뢰도 향상
• Dispatcher 패턴을 도입하여 모델의 판단과 실제 API 실행 로직을 분리한 샌드박스 구조 설계
• Full Response 대신 4개 핵심 필드만 추출하는 slim() 함수를 통해 컨텍스트 윈도우 낭비 방지
• 'Broad and Cheap' 전략을 적용하여 전체 목록-슬림 요약 후 필요한 개별 메시지만 정밀하게 Fetch 하는 2단계 파이프라인 구축
• send_email 툴에 pending_approval 상태를 도입하여 모든 발송 단계에 Human-in-the-loop 게이트 적용
• API Key를 서버 사이드에 은닉하여 모델 컨텍스트 내 자격 증명 유출 경로 원천 차단