피드로 돌아가기
Dev.toAI/ML
원문 읽기
엔지니어링 공수 절감을 위해 pgvector에서 Vertex AI Search로 전환한 RAG 아키텍처 최적화
Why Twio Chose Vertex AI Search over pgvector for Production RAG
AI 요약
Context
초기 단계에서 PostgreSQL 기반의 pgvector를 도입하여 낮은 인프라 비용과 빠른 개발 속도를 확보함. 하지만 서비스 성장 과정에서 PDF, 스캔 문서, 이메일 첨부파일 등 비정형 데이터 처리 비중이 증가하며 단순 Vector Storage 이상의 파이프라인 관리 부담이 발생함.
Technical Solution
- 데이터 전처리 단계의 OCR 및 문서 파싱 로직을 Managed Layer로 이관하여 파이프라인 복잡도 제거
- Vector Storage 중심의 설계에서 Indexing 및 Retrieval 전체 워크플로우를 통합 관리하는 구조로 전환
- OLTP 트래픽을 처리하는 메인 DB에서 검색 부하를 분리하여 시스템 리소스 경쟁 상태 해소
- 단순 Vector Distance 기반 검색에서 Managed Search의 랭킹 알고리즘을 통한 검색 품질 상향 평준화
- 엔지니어링 리소스를 파이프라인 유지보수가 아닌 제품 기능 고도화에 집중시키는 전략적 아키텍처 채택
실천 포인트
- RAG 도입 초기에는 데이터 접근성이 좋은 pgvector로 빠르게 PoC를 수행할 것 - 문서 종류가 다양하고 OCR 등 전처리 단계가 복잡해지는 시점에 Managed Search 서비스 전환을 검토할 것 - 인프라 비용(Cloud Bill)보다 엔지니어링 공수(Engineering Time)가 더 큰 제약 사항인지 판단할 것 - 검색 부하가 메인 DB의 트랜잭션 성능에 영향을 주는지 모니터링할 것