AWS가 Hugging Face의 83개 오픈 모델을 Amazon Bedrock Marketplace에 통합해 SageMaker JumpStart 엔드포인트를 Bedrock APIs와 호환되도록 제공

Context

개발자들이 오픈소스 모델(Hugging Face)과 AWS의 관리형 서비스(Amazon Bedrock)를 함께 사용하려면 별도의 통합 작업이 필요했다.

Technical Solution

• Bedrock Marketplace에 Hugging Face 오픈 모델 83개 통합: 모델 카탈로그에서 직접 배포 가능
• SageMaker JumpStart 엔드포인트를 Bedrock에 등록: 기존 JumpStart 배포를 Bedrock APIs와 호환되도록 래핑
• 통합 API 제공: Bedrock Converse API, Agents, Knowledge Bases, Guardrails, Model Evaluations을 배포된 모델에서 사용 가능
• Google Gemma 2 27B Instruct를 ml.g5.48xlarge 인스턴스에 배포: Bedrock 콘솔에서 엔드포인트 이름, 인스턴스 타입, 네트워킹 설정 선택
• 엔드포인트 ARN을 통한 프로그래밍 방식 호출: boto3의 bedrock-runtime 클라이언트로 converse() 메서드 사용

Key Takeaway

오픈소스 모델 사용자가 SageMaker의 계산 비용과 Bedrock의 API 비용만 지불하면서 Bedrock의 고수준 API 기능을 활용할 수 있으므로, 완전 관리형 인프라의 편의성과 모델 선택의 자유도를 동시에 확보할 수 있다.