Serverless RAG 기반의 Zero-Maintenance AI 챗봇 아키텍처 구현

Context

일반적인 챗봇의 정형화된 답변 한계와 LLM의 Hallucination 문제 해결 필요성 대두. 로컬 비즈니스 특성상 인프라 유지보수 비용 최소화와 실시간 비즈니스 데이터 반영이 가능한 구조 요구.

Technical Solution

• Amazon Bedrock Agent를 통한 세션 메모리 관리 및 오케스트레이션 자동화로 개발 공수 절감
• OpenSearch Serverless와 S3 기반의 Knowledge Base RAG 구축을 통한 최신 비즈니스 문서 기반의 정확한 답변 생성
• Nova-Lite v1 모델 채택을 통한 추론 속도 향상 및 운영 비용 최적화
• CloudFront, S3, API Gateway, Lambda로 이어지는 Full Serverless 파이프라인 설계를 통한 Zero-Scale 인프라 구현
• Flask 기반의 경량 Lambda 함수를 활용하여 Bedrock Agent Runtime과의 효율적인 인터페이스 연결
• IAM Role 기반의 최소 권한 원칙 적용으로 서비스 간 보안 통신 체계 구축