SKT-Arm-Rebellions 협력을 통한 저전력 AI Inference 인프라 구축

Context

GPU 기반 Inference 솔루션의 높은 전력 소모와 비용 부담으로 인한 인프라 효율성 저하 발생. Sovereign AI 모델 운영을 위한 최적화된 하드웨어 가속기 및 서버 구조 필요성 증대.

Technical Solution

• GPU 대체 목적의 Arm AGI Chip 기반 Inference 전용 서버 설계
• Rebellions RebelCard Accelerator 통합을 통한 연산 처리 효율 최적화
• Rack-scale AI Hardware 구조 채택을 통한 데이터센터 전력 밀도 개선
• Sovereign AI Foundation Model인 A.X K1 최적화 구동을 위한 하드웨어-소프트웨어 Co-design
• AI 데이터센터 내 실제 배포를 통한 실환경 성능 및 안정성 검증 파이프라인 구축

Key Takeaway

범용 GPU의 비효율을 제거하기 위해 특정 워크로드에 최적화된 NPU와 저전력 CPU 아키텍처를 결합한 전용 Inference 인프라 전환 추세.