피드로 돌아가기
Dev.toAI/ML
원문 읽기
System Prompt 대신 User Message RAG 적용으로 Compliance 80% 달성
How I Stopped Worrying and Made RAG Work in User-Message (80% Compliance, Solo)
AI 요약
Context
AI 모델이 시스템 프롬프트 내의 복잡한 규칙을 노이즈로 인식하여 응답률이 저하되는 현상 발생. 75개 이상의 헌법적 규칙을 강제하기 위한 기존 System Prompt 기반 제어의 한계 직면.
Technical Solution
- Qdrant 벡터 데이터베이스를 활용한 Atomic Rule 단위의 Semantic Search 구현
- 검색된 관련 규칙을 System Prompt가 아닌 User Message에 직접 주입하는 구조로 변경
- 모델이 규칙을 단순 제약 사항이 아닌 추론을 위한 Context로 인식하게 유도
- FastAPI와 PostgreSQL 기반의 단일 VPS 환경에서 동작하는 경량 아키텍처 설계
- 503 에러 방지를 위한 Async Queue 도입으로 처리 안정성 확보
- 3~5개 모델의 투표 시스템을 통한 Blind Jury Trial 검증 로직 적용
실천 포인트
1. 복잡한 규칙 적용 시 System Prompt의 길이를 줄이고 User Message에 관련 context를 주입했는지 확인
2. RAG 설계 시 규칙을 원자적 단위(Atomic)로 분리하여 인덱싱하고 있는지 검토
3. 응답 정확도 검증을 위해 다수 모델의 투표 기반 교차 검증 프로세스 도입 고려