M1 Mac 기반 $0 비용의 LLM-as-judge 통합 RAG 파이프라인 구축

I Built a Production RAG System on My M1 Mac for $0

Alex Bogle2026년 6월 10일3분intermediate

AI 요약

Context

단순 질의응답을 넘어 답변의 신뢰성을 검증하는 평가 체계 부재라는 RAG의 근본적 한계 직면. 클라우드 비용 부담 없이 로컬 환경에서 Faithfulness와 Relevance를 정량적으로 측정 가능한 시스템 필요성 대두.

Technical Solution

LLM-as-judge 구조를 도입하여 생성된 답변의 Faithfulness 및 Relevance를 1-5점으로 자동 스코어링하는 평가 레이어 설계
ChromaDB를 Embedded 모드로 운용하여 별도 서버 오버헤드 없이 벡터 저장소와 검색 로직 통합
Ollama API 기반의 외부 호출 방식에서 sentence-transformers의 In-process 호출 방식으로 변경하여 Embedding 지연 시간 최적화
MLflow를 통한 Chunk size, Overlap 값 등 하이퍼파라미터 변화에 따른 성능 지표 추적 및 실험 관리 체계 구축
FastAPI의 Async Streaming 및 SSE(Server-Sent Events) 적용을 통한 LLM 추론 시간의 사용자 체감 대기 시간 감소
HTTP 레이어 Mocking 처리를 통한 모델 의존성 제거 및 테스트 스위트 실행 속도 확보

실천 포인트

- Embedding 모델 선택 시 API 호출 방식과 In-process 라이브러리의 레이턴시 차이 비교 검토 - LLM-as-judge를 활용한 정량적 평가 지표(Faithfulness, Relevance) 정의 및 자동화 - MLflow 등 실험 관리 도구를 활용하여 Chunking 전략에 따른 검색 정확도(Retrieval Accuracy) 데이터화

태그

#MLflow #RAG #Vector Database #LLM-as-judge #Local-First

원문 읽기