RAG Chatbot으로 제품 데이터 기반의 정확한 응답 시스템 구축함

Context

기존 챗봇은 사용자 제품에 대한 지식이 없어 범용적이고 부정확한 답변을 생성함. LLM이 학습 데이터만으로는 특정 제품 도메인에 맞는 정확한 응답이 불가능함.

Technical Solution

• RAG Architecture: 사용자 질의 → pgvector 유사도 검색 → 컨텍스트 확보 → GPT-4 응답 생성 파이프라인 구축함
• pgvector: PostgreSQL 확장 기능으로 벡터 임베딩 저장 및 코사인 유사도 기반 최상위 5개 문서 검색함
• text-embedding-3-small: 500자 단위로 chunking한 텍스트를 OpenAI 임베딩 모델로 벡터화함
• Prompt Engineering: 검색된 chunk 컨텍스트와 질문을 조합하여 모델이 실제 데이터 기반으로 응답하도록 유도함
• Express Backend: React/Angular 프론트엔드와 pgvector 기반 백엔드 간 RESTful API 통신 처리함

Impact

기존 guessing 기반 답변에서 제품 컨텍스트 기반 grounded answers로 전환함. Hallucination 및 generic answer 문제 해결함.

Key Takeaway

AI 챗봇의 핵심 가치는 API 호출이 아닌 사용자 데이터와 지능을 연결하는 것에 있음. RAG는 LLM의 추론 능력과 실시간 데이터 검색을 결합하는 효과적인 패턴임.