NVIDIA의 AVO 시스템이 자율 에이전트로 7일간 GPU 커널을 최적화해 cuDNN 대비 3.5%, FlashAttention-4 대비 10.5% 성능 향상

Context

기존 GPU 커널 최적화는 인간 엔지니어의 수작업에 의존했으며, 마이크로아키텍처 수준의 최적화(레지스터 재분배, 분기 없는 누산기 스케일링, 명령어 파이프라인 오버래핑)는 전문가도 시도하지 않은 영역이었다. 폐쇄된 진화적 코드 탐색 시스템(AlphaEvolve, AVO)은 발견한 최적화가 해당 팀의 코드베이스에만 머물러 다른 개발자나 도메인으로 전파되지 않았다.

Technical Solution

• 변이 연산자를 단순 LLM 생성기에서 자율 에이전트로 승격: 후보 제안, 수리, 자체 검증, 검증을 독립적으로 실행한 후 모집단에 제출
• 계보 기반 변이 프로세스 도입: 에이전트가 이전 솔루션의 전체 계보, 하드웨어 문서, 프로파일러 출력을 참고하여 더 나은 후보 생성
• 폐쇄 시스템에서 개방 프로토콜(Rotifer Protocol)로 전환: 코드 유닛을 공개 경쟁장(Arena)에서 발표하고 판정 유전자(Judge Genes)로 평가 기준 자체를 진화시킴
• 수평 논리 전이(Horizontal Logic Transfer, HLT) 메커니즘 구현: 한 환경에서 발견한 최적화가 다른 도메인으로 자동 전파
• 이중 메트릭 선택 압박 적용: 적응도 F(g)와 검증 V(g)로 생존을 결정하되, 다양성 인수로 단일 유전자의 독점 방지

Impact

• NVIDIA의 cuDNN 대비 3.5% 성능 향상
• FlashAttention-4 대비 10.5% 성능 향상
• MHA에서 GQA로의 교차 작업 전이 30분 내 완성
• 인간 GPU 전문가가 시도하지 않은 미시 아키텍처 최적화 자동 발견

Key Takeaway

자율 에이전트 기반 진화적 코드 탐색은 인간 전문가를 초월하는 성능을 달성할 수 있으며, 계보 추적과 개방 프로토콜 인프라를 통해 도메인 간 최적화 전파가 가능함을 입증했다. 향후 시스템은 평가 기준 자체를 커뮤니티가 진화시킬 수 있는 구조로 전환해야 한다.