피드로 돌아가기
Dev.toInfrastructure
원문 읽기
AWS Serverless 기반 월 100루피 미만의 초저비용 RAG 챗봇 구현
I Built an AI Chatbot Into My Portfolio Website Using AWS Bedrock — Here's Exactly How
AI 요약
Context
일반적인 AI 챗봇의 높은 운영 비용과 Hallucination 문제를 해결하기 위한 아키텍처 설계 필요성 대두. 포트폴리오 웹사이트의 특성에 맞춰 유지보수 오버헤드가 없는 Serverless 구조와 비용 최적화가 핵심 요구사항으로 설정됨.
Technical Solution
- S3와 CloudFront OAC 조합을 통한 정적 웹사이트 호스팅 및 보안 강화
- API Gateway의 Throttling과 Usage Plan 설정을 통한 무분별한 API 호출 및 비용 폭증 방지
- Lambda를 Orchestration Layer로 활용하여 입력값 Sanitization 및 Prompt 엔지니어링 수행
- Bedrock Nova Micro 모델과 S3 Knowledge Base를 결합한 RAG 구조로 답변의 신뢰성 확보
- Bedrock Guardrails 도입을 통한 안전한 콘텐츠 필터링 및 응답 제어
- WAF Free Tier 적용으로 SQL Injection 및 XSS 등 공통 웹 보안 위협 차단
실천 포인트
1. Bedrock Knowledge Base를 통한 데이터 Grounding으로 Hallucination 최소화
2. API Gateway의 CORS 설정과 Lambda 단계의 Input Sanitization으로 보안 계층 구축
3. CloudFront OAC 설정을 통해 S3 버킷의 퍼블릭 액세스를 차단하고 CDN을 통해서만 접근 허용
4. Stateless한 API 한계를 극복하기 위해 DynamoDB 기반의 Session Memory 도입 검토