AI 개발자가 500MB 이메일 데이터를 100KB 마크다운 스킬 파일로 압축하여 RAG 파이프라인 대신 구조화된 규칙 기반 접근으로 전환

Context

기업 데이터(500MB 이메일, 채팅 로그, 통화 기록)를 RAG 파이프라인으로 처리할 때 5% 유용한 지식에 95% 노이즈가 섞여 있었다. 인사말, 감사 표현 등 기업 데이터의 95%가 실제 지식과 무관한 필러였고, 중복된 정책 버전이 동등한 가중치로 인덱싱되어 구식 답변을 반환하는 문제가 발생했다.

Technical Solution

• RAG 파이프라인을 마크다운 기반 스킬 파일로 대체: 원본 500MB 데이터를 LLM으로 반복 처리하여 100KB의 CLAUDE.md 파일로 압축
• 헤더 기반 의미론적 앵커 생성: '## Refund Policy' 같은 명확한 섹션으로 모호성 제거
• 선언형 규칙 작성: "Refunds are approved within 30 days. No exceptions for digital goods." 형태로 명시적 정책 기술
• 청크 손실 방지: 분산된 의미를 단일 문서에 통합하여 컨텍스트 관계 보존
• 모델별 프레이밍 차별화: Claude는 구조화된 규칙과 명시적 제약, Gemini는 컨텍스트와 예시, GPT는 절차적 단계별 분석 형식으로 동일 콘텐츠 조정

Impact

마크다운 파일 크기 500MB에서 100KB로 99.98% 축소. 재인덱싱 비용 및 쿼리 시점 임베딩 조회 레이턴시 제거.

Key Takeaway

AI 정렬의 미래는 대규모 저품질 데이터셋이 아니라 도메인 특정 스킬을 정의한 고도로 응축된 마크다운 파일에 있다. 구조화된 규칙 기반 접근은 정보가 아닌 방향성과 처리 방법을 AI에 제공하여 hallucination을 방지하고 의도한 동작을 강제한다.