피드로 돌아가기
Dev.toAI/ML
원문 읽기
Git Repo 기반의 LLM 컴파일 파이프라인을 통한 제로 마이그레이션 지식 시스템 구축
Practicing Karpathy's Personal Knowledge Base Method with a Git Repository
AI 요약
Context
기존의 지식 관리 시스템은 수집과 정제, 발행 단계가 분리되어 데이터 마이그레이션 비용이 발생하는 구조적 한계를 가짐. 특히 Obsidian과 같은 도구 사용 시 개인 저장소와 외부 발행 플랫폼 간의 동기화 및 포맷 변환 과정에서 병목 발생.
Technical Solution
- raw → notes → posts로 이어지는 단방향 데이터 정제 파이프라인 설계
- Hugo의 draft: true 속성을 활용하여 공개 블로그와 비공개 Knowledge Base를 단일 Git Repository 내에서 격리
- LLM을 단순 챗봇이 아닌 Raw Data를 구조화된 Markdown으로 변환하는 Compiler로 정의하여 정제 단계 자동화
- Git 기반의 버전 관리와 Hugo server -D 로컬 프리뷰를 결합한 Zero-Friction 캡처 환경 구축
- LLM Health Check 프로세스를 도입하여 중복 토픽 병합 및 누락 태그 보완 등 데이터 무결성 유지
- Algolia 및 grep 기반의 검색 아키텍처를 통해 별도의 RAG 구현 없이도 LLM 인덱싱만으로 질의 응답 수행
실천 포인트
- 수집 단계의 마찰을 최소화하기 위해 포맷팅을 배제한 Raw Inbox 디렉토리 운영 - 데이터의 성숙도에 따라 draft 속성과 경로를 변경하는 단계적 정제 워크플로우 적용 - 정기적인 LLM 감사(Audit)를 통해 지식 베이스 내 모순 제거 및 구조 최적화 수행