개발자가 3만 달러짜리 GPU 클러스터 없이 AI 모델의 가중치를 정밀 편집하는 PickyTrain을 Rust로 구현했다

Context

기존 LLM fine-tuning은 수만 달러 규모의 GPU 클러스터와 수천 개의 학습 데이터를 필요로 한다. Backpropagation으로 올바른 뉴런을 타겟팅하기 어렵고, 자원 소모가 큰shotgun 접근 방식이다.

Technical Solution

• GGUF 모델 → PTXY 형식으로 변환 후 편집 가능한 상태로 "해동"
• CPU에서만 실행 가능하여 GPU 인프라 불필요
• FFN 가중치를 " nudge" 하여 모델 행동 조정
• Delta Journal로 모든 편집 이력 추적 및 롤백 지원
• Rust 핵심 엔진 + PyO3 바인딩 + Curses TUI 조합

Impact

GPU 없이도 AI 모델의 특정 사실이나 행동을 정밀 수정 가능

Key Takeaway

모델이 단순한 가중치 집합이라면, 올바른 시냅스를 찾아 조작함으로써 학습 없이도 원하는 방식으로 변경할 수 있다