Claude 3.5 및 GPT-4o 교차 검증 기반의 RAG 시스템 설계

Context

단일 LLM 사용 시 발생 가능한 할루시네이션 및 특정 모델의 편향성 문제를 해결하기 위한 다중 모델 전략 필요. 정적 문서 저장소에서 관련 컨텍스트를 효율적으로 추출하여 생성 모델에 전달하는 RAG 구조의 기본 구현 체계 구축.

Technical Solution

• JSON 기반 Document Repository를 통한 Keyword Matching 방식의 데이터 검색 인터페이스 설계
• 검색된 다수 문서의 텍스트를 결합하여 LLM의 Context Window 내에 최적화된 Prompt 구성
• Claude 3.5 Sonnet과 GPT-4o API를 병렬로 호출하여 동일 쿼리에 대한 교차 응답 생성
• Node.js 환경에서 dotenv를 통한 API Key 관리 및 SDK 기반의 비동기 요청 처리 구조 채택
• 사용자 쿼리 처리 로직을 Document Retrieval과 AI Generation 단계로 분리한 모듈화 설계