Together AI가 Hugging Face Hub의 모든 호환 LLM을 자신의 인프라로 파인튜닝 가능하게 통합해 5분 내 모델 커스터마이징 실행

Context

Hugging Face Hub에서 발견한 우수 모델도 프로덕션 요구사항 충족을 위해 파인튜닝이 필요할 때가 많다. 기존 파인튜닝 인프라는 복잡하고 비용이 높으며 상당한 DevOps 전문성이 필요하다.

Technical Solution

• Base Model과 Custom Model 이원 구조 도입: Together의 공식 모델 카탈로그에서 GPU 자원 배분과 메모리 설정을 정의하는 템플릿 모델을 지정하고, from_hf_model 파라미터로 Hugging Face Hub의 실제 파인튜닝 대상 모델을 명시
• 양방향 연동 구현: Together AI가 Hub의 공개 모델을 직접 다운로드해 학습하고, hf_api_token을 통해 비공개 저장소 접근 지원하며, 학습 후 hf_output_repo_name으로 결과를 Hub에 자동 업로드
• Python SDK 단순화: Together 클라이언트의 files.upload(), fine_tuning.create() 메서드로 학습 데이터 업로드 및 작업 생성을 API 호출 몇 줄로 처리
• 아키텍처 매칭 검증: 기본 모델과 커스텀 모델이 동일 아키텍처(예: Llama), 유사한 파라미터 크기, 동일 시퀀스 길이를 가져야 최적의 결과 도출
• 호환성 범위 정의: CausalLM 계열 100B 파라미터 이하 모델 전체를 지원 대상으로 설정

Impact

아티클에는 정량적 성능 수치가 명시되지 않음. 베타 사용자 사례로 Slingshot AI는 개발 사이클 가속화, Parsed는 소규모 파인튜닝 모델이 대규모 클로즈드 모델 대비 우월한 성능 달성을 보고했으나 구체적 수치는 제시되지 않음.

Key Takeaway

Hub의 기존 모델을 선택지로 확보한 후 특정 도메인 데이터로 파인튜닝하면 처음부터 학습하는 것보다 학습 에포크와 데이터셋 크기를 대폭 감축할 수 있으며, 커뮤니티 모델을 출발점으로 반복적 개선을 수행하면 복합 효과를 통한 빠른 성능 향상이 가능하다.