Supabase와 pgvector 기반의 제로코스트 RAG 파이프라인 구축

Context

외부 데이터 기반의 LLM 응답 생성 시 발생하는 Hallucination 문제 해결 필요성 증대. 기존 벡터 데이터베이스 도입에 따른 추가 인프라 비용 및 관리 복잡도 증가가 주요 병목 지점으로 작용.

Technical Solution

• Postgres 확장 기능인 pgvector를 활용하여 단일 데이터베이스 내에서 관계형 데이터와 Vector Search를 통합 처리하는 구조 설계
• Transformers.js 기반의 all-MiniLM-L6-v2 모델을 로컬 환경에서 실행하여 Embedding 생성 비용 제거 및 데이터 프라이버시 강화
• 384 차원의 Vector Embedding을 활용한 Cosine Similarity 기반의 match_documents RPC 함수 구현으로 효율적인 관련 청크 추출
• LLM 프롬프트에 "Answer using ONLY the context" 제약 조건을 명시하여 모델의 자체 기억에 의한 환각 현상을 원천적으로 차단
• 문맥 손실 방지와 노이즈 제거를 위해 수백 자 단위의 최적 Chunk Size를 적용한 데이터 Ingest 프로세스 구축