Hugging Face가 자체 호스팅 코드 어시스턴트 SafeCoder를 출시해 엔터프라이즈 고객이 자신의 인프라에서 proprietary 코드베이스로 fine-tuning한 Code LLM 운영 가능

Context

GitHub Copilot과 같은 폐쇄소스 Code LLM을 기반으로 한 코드 어시스턴트는 생산성 향상을 제공하지만, 엔터프라이즈가 자신의 proprietary 코드베이스로 fine-tuning하려면 제3자에게 코드를 노출해야 하고 학습 과정에서 민감한 정보 유출 위험이 있다. 규정 준수를 위해 엔터프라이즈는 fine-tuning된 Code LLM을 자신의 인프라 내에 배포해야 하는데 폐쇄소스 LLM으로는 불가능하다.

Technical Solution

• StarCoder 기반 모델 도입: BigCode 프로젝트(Hugging Face, ServiceNow, 오픈소스 커뮤니티 협력)가 만든 StarCoder 패밀리 Code LLM을 SafeCoder의 핵심으로 사용
• 자체 호스팅 배포 모델: 고객이 자신의 VPC 내 인프라에 Hugging Face 제공 컨테이너를 직접 배포하여 코드가 외부로 나가지 않도록 구성
• 데이터 준비 파이프라인: Hugging Face 팀이 제공하는 컨테이너와 스크립트로 고객의 내부 코드베이스를 선택, 추출, 준비, 중복 제거, 개인정보 제거하여 학습 데이터셋 생성
• 다양한 GPU/가속기 지원: NVIDIA GPU, AMD Instinct GPU, Intel Xeon CPU, AWS Inferentia2, Habana Gaudi 등 고객의 하드웨어 구성에 맞게 컨테이너 최적화
• IDE 플러그인 제공: VSCode, IntelliJ 등 주요 IDE 지원으로 개발자 워크플로우 통합

Impact

• Google 내부 Code LLM 어시스턴트의 completion 수락률: 25-34% (내부 코드베이스로 학습한 결과)

Key Takeaway

엔터프라이즈가 AI/ML 규정 준수 요구사항을 충족하면서 자신의 proprietary 코드로 학습한 고성능 Code LLM을 운영하려면, 폐쇄소스 모델 대신 오픈소스 기반(StarCoder)을 활용하고 VPC 내 자체 호스팅을 통해 코드 데이터 소유권과 프라이버시를 완전히 통제하는 아키텍처가 필수다.