Declarative Knowledge 한계를 극복한 4가지 지식 유형 기반의 Decision Mining 프레임워크 설계

A Four-Type Framework for LLM Wiki by karpathy

blaze2026년 6월 28일5분advanced

AI 요약

Context

기존 LLM Wiki의 단순 Ingest 방식은 사실 위주의 Declarative Knowledge만 추출하여 전문가 수준의 Judgment 구현에 한계 노출. 단순 지식 나열만으로는 학습자의 상태를 진단하거나 최적의 추론 경로를 제시하는 Procedural/Interaction 능력 확보가 불가능한 구조적 결함 발견.

Technical Solution

Fact 추출 중심의 Ingest 작업과 Decision 추출 중심의 Mine 작업을 분리한 Dual-Operation 아키텍처 설계
지식 체계를 Declarative(사실), Procedural(추론 경로), Experiential(실행 사례), Interaction(가이드 전략) 4가지 유형으로 세분화
전문 상담 및 튜터링 대화 데이터에서 전문가의 선택 시점과 후속 조치를 추적하는 Decision-point Level 어노테이션 적용
'Focus $\rightarrow$ Probe $\rightarrow$ Tell'로 이어지는 조건부 Decision Tree 모델을 통한 Interaction 패턴 구조화
단순 요약이 아닌 전문가의 전략적 침묵, 함정 설계 등 비정형적 판단 근거를 추출하는 Mining 로직 도입

실천 포인트

AI 에이전트 설계 시 다음 체크리스트를 검토하십시오:

1. 시스템이 '무엇(What)'뿐만 아니라 '왜 이 순서로(Why this order)' 처리하는지에 대한 Procedural Knowledge를 보유하고 있는가?

2. 단순 텍스트 요약이 아닌, 실제 전문가의 시행착오가 포함된 Experiential 사례가 데이터셋에 포함되었는가?

3. 사용자 입력에 대해 즉각적인 답을 주기 전, 상태 진단을 위한 Interaction 가이드라인(Decision Tree)이 정의되어 있는가?

4. 데이터 파이프라인에 Fact 추출 외에 Decision Mining 단계가 독립적으로 구성되어 있는가?

태그

#Decision Mining #Procedural Knowledge #Knowledge Architecture #LLM Wiki #Socratic Method

원문 읽기