월 50달러로 구축하는 AWS 기반 고효율 LibreChat 인프라

Context

특정 LLM 모델에 종속되지 않는 유연한 모델 선택 환경 필요. 팀원 전체가 접근 가능한 웹 기반의 self-hosted 플랫폼 요구. 운영 오버헤드 최소화와 비용 효율적인 확장 구조 설계 필요.

Technical Solution

• Amazon Bedrock의 다양한 파운데이션 모델 활용을 위한 LibreChat 인터페이스 도입
• 64-bit ARM 아키텍처 기반 AWS Fargate를 활용하여 서버리스 컨테이너 실행 환경 구축
• MongoDB Atlas M0 Free 티어를 통해 데이터베이스 관리 부담 제거 및 비용 최적화
• fck-nat(t4g.nano EC2 쌍)를 구축하여 고비용의 AWS Managed NAT Gateway 대체
• AWS Systems Manager Parameter Store와 Amazon S3를 활용한 설정 및 비밀 정보 분리 관리
• Application Load Balancer를 통한 단일 엔드포인트 제공 및 TLS 보안 설정 적용

Impact

• 월 예상 운영 비용 약 $50 USD (us-east-1 리전 기준)
• 컨테이너 리소스 0.5 vCPU 및 1 GB Memory 설정으로 기본 기능 구동 가능

Key Takeaway

초기 단계에서는 서버리스 서비스와 오픈소스 대안(fck-nat)을 조합하여 고정 비용을 최소화하고, 사용량 증가에 따라 Well-Architected Framework 기반으로 점진적 확장을 도모하는 전략적 인프라 설계 방식.