피드로 돌아가기
Stop Chunking Documents: The Open Knowledge Format (OKF) for Enterprise AI
Dev.toDev.to
AI/ML

OKF 도입으로 Hallucination 18%→3% 및 Context Token 75% 절감

Stop Chunking Documents: The Open Knowledge Format (OKF) for Enterprise AI

kirandeepjassal-crypto2026년 6월 30일5advanced

Context

단순 Blind Chunking 기반 RAG 파이프라인의 문맥 상실 및 지식 파편화 문제 발생. 벡터 유사도만으로는 지식 간 관계 파악과 데이터 최신성 유지 및 거버넌스 적용에 한계 노출.

Technical Solution

  • 텍스트 파편인 Chunk를 ID, Owner, Expiry를 가진 정형화된 OKF Unit으로 전환하여 지식의 정체성 부여
  • Metadata 기반의 valid_until 필드 도입을 통한 만료 데이터 자동 필터링 및 답변 최신성 보장
  • relate_to, depends_on 등 명시적 Edge 정의를 통한 Knowledge Graph 구축으로 Multi-hop 질의 해결
  • 비즈니스 규칙을 산문 형태가 아닌 데이터 기반의 하드 제약 조건(Constraints)으로 정의하여 엔진에 주입
  • BM25, Vector, Graph Retrieval을 결합한 Hybrid Search로 리콜 정확도 및 문맥 일관성 강화
  • 제약 조건 우선 배치 및 토큰 예산 기반의 Prompt Assembly 최적화로 컨텍스트 효율 극대화

- 정적 텍스트 분할 대신 ID와 유효기간이 포함된 Knowledge Unit 설계 검토 - 단순 유사도 검색으로 해결 불가능한 Multi-hop 질문을 위해 엔티티 간 관계(Edge) 정의 - 비즈니스 정책을 프롬프트 내 설명이 아닌 시스템이 강제하는 데이터 제약 조건으로 분리 - 고가치 및 변동성이 높은 도메인부터 단계적으로 OKF 전환 적용

원문 읽기