NVIDIA NIM API 기반의 OpenAI 호환 인터페이스를 통한 Manual RAG 구현

Context

LLM 도입 시 발생하는 복잡한 GPU 인프라 설정 및 CUDA 환경 구축의 병목 현상 분석. 모델의 Hallucination 방지를 위해 외부 지식 베이스를 프롬프트에 주입하는 제어 구조 필요.

Technical Solution

• OpenAI 호환 API Spec 채택을 통한 온보딩 비용 최소화 및 기존 Client 라이브러리 재사용
• NVIDIA NIM(Inference Microservices) 기반의 Hosted Inference 구조를 활용한 인프라 추상화
• System Prompt 내에 Context(Campus Info)를 직접 삽입하는 Manual RAG 패턴 설계
• 엄격한 Grounding 제약을 적용하여 정보 부재 시 특정 Fallback 메시지를 출력하는 거부 로직 구현
• Temperature 0.3 설정을 통한 응답의 일관성 확보 및 결정론적 출력 유도

Key Takeaway

실제 RAG 시스템의 핵심은 LLM 호출 자체가 아닌, 질의에 최적화된 컨텍스트를 추출하여 프롬프트에 주입하는 Retrieval 파이프라인의 설계에 있음.