Codex가 Hugging Face Skills를 통합해 단일 프롬프트로 모델 파인튜닝부터 GGUF 변환·배포까지 end-to-end 머신러닝 실험 자동화

Context

머신러닝 엔지니어는 모델 파인튜닝, 평가, 배포를 위해 여러 도구와 스크립트를 수동으로 조율해야 했다. 특히 데이터 검증, 하드웨어 선택, 학습 진행 모니터링, 결과 리포트 작성 등 반복적인 작업이 실험 주기를 지연시켰다.

Technical Solution

• Hugging Face Skills 저장소의 AGENTS.md 파일을 Codex에 통합: Claude Code의 'Skills' 방식과 호환되는 구조로 Codex, Claude Code, Gemini CLI 등 주요 에이전트와 동작
• MCP(Model Context Protocol) 서버를 통한 Hugging Face Hub 연동: 인증, 모델 조회, Job 제출을 API로 자동화
• 자동 하드웨어 선택 로직 구현: 0.5B~7B 모델 크기별로 t4-small, t4-medium, a10g-small, a10g-large 등 최적 GPU 선택 및 비용 추정
• 스크린싱부터 배포까지의 작업 흐름 자동화: 데이터 형식 검증 → 학습 스크립트 생성(SFT, DPO, RL 메서드 지원) → Trackio 모니터링 추가 → 진행 상황 실시간 업데이트
• 학습 보고서 자동 생성 및 갱신: training_reports/--.md 파일에 각 체크포인트 평가 결과와 실험 메트릭을 누적 기록
• GGUF 양자화 및 로컬 배포 자동화: Q4_K_M 등 양자화 옵션으로 변환 후 Hub에 푸시, llama-server로 로컬 실행 가능

Impact

0.6B 모델의 기본 실험 비용: $1~2 (t4-small 하드웨어 기준). 1~3B 모델: $5~15 (몇 시간 소요). 3~7B 모델(LoRA): $15~40 (a10g-large 또는 a100-large).

Key Takeaway

AI 에이전트가 학습 파이프라인의 전체 생명주기를 자동으로 관리할 때, 엔지니어는 고수준 명령어 하나로 재현 가능한 end-to-end 실험을 위임할 수 있다. 이를 위해서는 에이전트가 접근할 수 있는 스킬 세트(데이터 검증, 하드웨어 선택, 모니터링, 배포 변환)를 명시적으로 정의하고, 실험 메타데이터를 자동으로 기록하는 구조가 필수다.