Terraform 기반 자동화 파이프라인을 통한 Production-grade RAG 인프라 구축

Don't Let Your LLM Wing It: Building a Knowledge Base That Actually Knows Things

hugolesta2026년 6월 30일9분intermediate

AI 요약

Context

LLM의 Hallucination 방지를 위해 RAG 도입이 필수적이나, 수동 문서 업로드 방식의 운영 비효율과 데이터 동기화 지연 문제가 발생함. 단순 프롬프트 엔지니어링보다 인프라 수준의 데이터 파이프라인(Plumbing) 구축이 시스템 안정성의 핵심인 상황임.

Git-centric Workflow 기반으로 GitHub Actions를 통해 S3 버킷으로 문서를 자동 동기화하는 CI/CD 파이프라인 설계
Bedrock Knowledge Base와 Aurora PostgreSQL(pgvector)을 결합하여 HNSW 및 GIN 인덱스를 통한 고속 벡터 검색 구현
Application DB와 분리된 전용 Aurora Cluster 배포를 통해 Ingestion Job으로 인한 서비스 성능 간섭 원천 차단
Secrets Manager를 활용한 JSON 형태의 자격 증명 관리로 Bedrock 서비스 역할과 DB 간의 보안 연결 최적화
Hierarchical Chunking 전략을 채택하여 산문형 문서의 문맥 유지력을 높이고 검색 정확도 향상
Acc/Prod 환경의 완전한 물리적 격리(Bucket, KB, DB 개별 생성)를 통해 설정 오류의 프로덕션 전파 방지

실천 포인트

1. Aurora PostgreSQL 사용 시 Bedrock Data API 연결을 위해 enable_http_endpoint 활성화 여부 확인

2. 선택한 Embedding Model의 출력 차원(Dimension)과 DB 벡터 컬럼 크기의 일치 여부 사전 검증

3. 문서 성격에 따라 Hierarchical Chunking(산문형)과 Flat Chunking(FAQ/용어집) 중 적절한 전략 선택

4. 프로덕션 환경의 RAG 동기화는 자동 Push가 아닌 수동 승인(Manual Gate) 단계를 포함하여 데이터 오염 방지

태그