Shadow DOM과 RAG 최적화로 구현한 제로-할루시네이션 임베디드 챗봇

Building Minyut: An Embeddable RAG Chatbot in One Script Tag

Mohit2026년 6월 18일5분intermediate

AI 요약

Context

일반적인 LLM의 Training Data 기반 응답으로 인한 Hallucination 문제를 해결해야 하는 상황. 특히 법률 및 정책 문서 쿼리 시 정확성이 필수적인 B2B 요구사항에 따라 외부 지식 차단과 문서 기반 응답 강제 구조가 필요함.

Hallucination 방지를 위해 Retrieval-Augmented Generation(RAG) 아키텍처를 채택하여 검색된 컨텍스트 내에서만 응답하도록 제약 설계
문맥 소실 방지를 위해 600-token Chunk 크기에 80-token Overlap을 적용한 Fixed Chunking 전략 수립
384-dimensional Vector 생성을 위한 all-MiniLM-L6-v2 모델과 Supabase pgvector의 HNSW Index를 통한 고속 시맨틱 검색 구현
호스트 사이트의 CSS 간섭 및 Z-index 충돌을 원천 차단하기 위해 Shadow DOM 기반의 완전히 격리된 UI 트리 구성
인프라 오버헤드 제거를 위해 Groq(Inference) 및 HuggingFace(Embedding) API를 활용한 Serverless 파이프라인 구축
AES-256 암호화 기반의 BYOK(Bring Your Own Key) 설계를 통해 사용자 직접 모델 제어권 부여 및 비용 효율성 확보

실천 포인트

RAG 시스템 구축 시 모델 튜닝보다 Chunk Size와 Overlap 설정 등 Retrieval 품질 최적화에 우선순위를 둘 것. 외부 웹사이트 임베디드 위젯 설계 시 Scoped CSS 대신 Shadow DOM을 사용하여 스타일 격리를 보장할 것.

태그