3-Tier Smart Routing과 SFTP Ingestion 기반의 권한 인식 RAG v4.2 고도화

Smart Routing, Transfer Family Ingestion, and Voice Chat — Permission-Aware RAG v4.2

Yoshiki Fujiwara(藤原善基)@AWS Community Builder2026년 5월 15일12분advanced

AI 요약

Context

단일 모델 사용 시 발생하는 비용 낭비와 저품질 응답의 Trade-off 문제 존재. 외부 파트너사의 Web UI 도입 거부로 인한 SFTP 기반 문서 수집 요구사항 및 권한 관리의 복잡성 증대.

쿼리 복잡도(키워드 수, 분석 용어, 컨텍스트 크기)에 따른 3-Tier Automatic Routing 구조 설계
Haiku(단순) → Sonnet(복잡) → Opus(전체 컨텍스트) 순의 계층적 모델 배치로 비용 최적화 및 성능 확보
AWS Transfer Family와 S3 Access Point를 연동하여 SFTP 기반 데이터를 FSx for ONTAP으로 직접 인제스션하는 파이프라인 구축
Fail-closed 원칙 기반의 retrieval filtering layer를 통해 신뢰할 수 없는 메타데이터 보유 문서를 원천 배제
WebRTC 기반 Voice Chat 도입 및 REST fallback 구조를 통한 사용자 인터페이스 확장
CloudWatch EMF를 활용한 RoutingTier별 메트릭 추적으로 실시간 비용 및 경로 분포 모니터링

실천 포인트

1. 쿼리 분류기(Classifier) 설계 시 키워드 수와 컨텍스트 크기를 기반으로 한 임계값 설정 검토

2. 모델 가용성 문제 대비를 위해 상위 티어로의 자동 Fallback 메커니즘 구현

3. 외부 데이터 유입 경로 설계 시 S3 Access Point를 활용한 Storage 계층 통합 방안 고려

4. 보안 필터링 단계에서 Fail-closed 정책을 적용하여 권한 없는 데이터 노출 원천 차단

태그