피드로 돌아가기
Dev.toAI/ML
원문 읽기
OKF 도입으로 Hallucination 18%→3% 및 Context Token 75% 절감
Stop Chunking Documents: The Open Knowledge Format (OKF) for Enterprise AI
AI 요약
Context
단순 Blind Chunking 기반 RAG 파이프라인의 문맥 상실 및 지식 파편화 문제 발생. 벡터 유사도만으로는 지식 간 관계 파악과 데이터 최신성 유지 및 거버넌스 적용에 한계 노출.
Technical Solution
- 텍스트 파편인 Chunk를 ID, Owner, Expiry를 가진 정형화된 OKF Unit으로 전환하여 지식의 정체성 부여
- Metadata 기반의 valid_until 필드 도입을 통한 만료 데이터 자동 필터링 및 답변 최신성 보장
- relate_to, depends_on 등 명시적 Edge 정의를 통한 Knowledge Graph 구축으로 Multi-hop 질의 해결
- 비즈니스 규칙을 산문 형태가 아닌 데이터 기반의 하드 제약 조건(Constraints)으로 정의하여 엔진에 주입
- BM25, Vector, Graph Retrieval을 결합한 Hybrid Search로 리콜 정확도 및 문맥 일관성 강화
- 제약 조건 우선 배치 및 토큰 예산 기반의 Prompt Assembly 최적화로 컨텍스트 효율 극대화
실천 포인트
- 정적 텍스트 분할 대신 ID와 유효기간이 포함된 Knowledge Unit 설계 검토 - 단순 유사도 검색으로 해결 불가능한 Multi-hop 질문을 위해 엔티티 간 관계(Edge) 정의 - 비즈니스 정책을 프롬프트 내 설명이 아닌 시스템이 강제하는 데이터 제약 조건으로 분리 - 고가치 및 변동성이 높은 도메인부터 단계적으로 OKF 전환 적용