Nvidia 의존성 탈피와 MoE 최적화로 GPT-4o 대비 12배 비용 절감 달성

Context

단순 파라미터 확장 중심의 모델 경쟁에서 벗어나 실제 실행력과 비용 효율성을 중시하는 Agentic AI로의 패러다임 전환 발생. 서구권 하드웨어 공급망 제약과 높은 추론 비용이라는 구조적 한계 해결이 시급한 상황.

Technical Solution

• Huawei Ascend 910B 클러스터 기반의 전용 학습 최적화를 통한 CUDA 의존성 완전 제거
• 1.6T 파라미터 MoE 아키텍처 채택으로 고성능 유지 및 토큰당 활성 파라미터 최소화
• 35B-A3B MoE 구조 설계를 통한 Edge 환경 최적화 및 추론 리소스 효율성 극대화
• Full-Modal Matrix 아키텍처 도입으로 단일 프롬프트 기반의 다중 모달리티 통합 생성 구현
• 수백 개의 전문 Sub-agent를 오케스트레이션하는 Multi-agent Workflow 구조 설계
• 모델 파라미터 크기를 2/3로 압축하면서 성능 손실을 2% 이내로 제한한 경량화 기법 적용