인간 뇌의 20W 효율성을 지향하는 Sensory-First 에이전트 기반 신경망 진화 아키텍처

Context

거대 모델의 Scaling Law에 의존하는 현행 AI 방식의 막대한 에너지 소비 및 경제적 비용 한계 직면. Transformer 모델의 경직된 구조와 과도한 Compute 자원 요구로 인한 지속 불가능성 증대.

Technical Solution

• 인간 인지 발달 순서를 모사하여 시각, 청각, 촉각 등 기초 감각 데이터 기반의 Token을 우선 생성하는 Sensory-First 기반 설계
• 언어를 기초 토대가 아닌 깊은 감각적 이해를 바탕으로 한 고수준 Compression Layer로 정의하여 배치
• 신경망 구조 최적화를 위해 제안, 구현, 평가 역할을 수행하는 특화 AI Agent 팀의 협업 루프 구성
• Sparsity 도입 및 Cross-modal 통합 최적화를 통해 수학적 단순성과 Compute 효율성을 동시에 추구하는 반복적 진화 구조
• 소규모 모델에서 검증된 성공적 아키텍처를 단계적으로 확장하는 점진적 Scaling 전략 채택