피드로 돌아가기
Dev.toAI/ML
원문 읽기
6단계 파이프라인과 State Machine 기반의 Obsidian 지식 베이스 자동 구축 에이전트
How I Turned 6 Cognitive Science Principles Into an AI Agent That Builds Obsidian Vaults
AI 요약
Context
기존의 Zettelkasten 및 컨설팅식 지식 습득 방식이 가진 과도한 수동 관리 비용과 전문가 의존성이라는 병목 현상 존재. 단순한 LLM 요약을 넘어 인지 과학 원리를 시스템 설계에 반영한 구조적 지식 추출 아키텍처 필요성 대두.
Technical Solution
- H2/H3 계층 구조 강제화를 통한 지식 스키마의 정밀도 확보 및 로드맵 생성
- 5단계 State Machine(draft → filling → filled → reviewed ↘ needs_review) 도입을 통한 개별 노트 생성 상태 관리 및 복구 로직 구현
- context-extractor.py를 통한 소스 범위 기반 부분 컨텍스트 주입으로 Token 소모량 5배 이상 절감
- .md.tmp 임시 파일 작성 후 Rename 하는 Atomic Write 방식을 채택하여 에이전트 크래시 시 데이터 무결성 보장
- TF-IDF와 LLM 분류를 결합한 3단계 Funnel 구조로 Bloom's Taxonomy 기반의 고차원 Wikilink 생성
- Consensus/Disputes/Context-dependent 3층 프레임워크를 적용한 심층 리서치 자동화
실천 포인트
- LLM의 컨텍스트 윈도우 낭비를 줄이기 위해 전체 문서 대신 필요한 부분만 추출하여 주입하는 Pre-fetcher 구현 검토 - 에이전트의 비결정적 동작으로 인한 파일 손상을 방지하기 위해 임시 파일 작성 후 교체하는 Atomic Write 패턴 적용 - 단순 유사도 기반 링크가 아닌 도메인 특화 관계(인과, 모순, 응용 등)를 정의한 다단계 필터링 구조 설계