Gemma 4, Docker Hub의 OCI 아티팩트로 배포 및 실행 자동화

Context

AI 모델 배포 시 전용 툴체인과 복잡한 인증 과정이 필요함. 모델별로 상이한 배포 환경으로 인해 일관된 파이프라인 구축에 한계가 존재함.

Technical Solution

• AI 모델을 OCI 아티팩트로 패키징하여 컨테이너와 동일한 버전 관리 및 공유 체계 구축
• 별도 툴체인 없이 Docker Hub의 pull, tag, push 워크플로우를 통한 즉각적인 배포 환경 구현
• MoE(Mixture-of-Experts) 설계를 적용한 26B A4B 모델로 대형 모델의 품질과 소형 모델의 속도를 동시 확보
• 텍스트, 이미지, 오디오를 모두 처리하는 Multimodal 지원 아키텍처 채택
• Docker Model Runner 연동을 통해 Docker Desktop 환경에서 모델 실행 및 관리 프로세스 통합
• 온디바이스 최적화 모델(E2B, E4B) 제공으로 엣지 디바이스부터 서버까지 확장 가능한 배포 전략 수립

Impact

• Gemma 4 E2B: Total Params 5.1B, Context Window 128K
• Gemma 4 E4B: Total Params 8.0B, Context Window 128K
• Gemma 4 26B A4B: Total Params 26.8B (Active 3.8B), Context Window 256K-512K
• Gemma 4 31B: Total Params 31.3B, Context Window 256K-512K

Key Takeaway

AI 모델의 배포 단위를 OCI 표준 아티팩트로 추상화하여 기존 DevOps CI/CD 파이프라인에 모델 생명주기를 완전히 통합하는 설계 방식.