12M 토큰 기준 Attention 연산량을 1,000배 절감한 Linear Scaling 아키텍처

Context

표준 Transformer 모델의 Attention 비용이 컨텍스트 길이에 따라 Quadratic하게 증가하는 한계 존재. 이로 인해 대규모 컨텍스트 처리 시 Retrieval이나 Chunking 같은 우회책을 사용하며 발생하는 성능 저하와 비용 상승 문제 발생.

Technical Solution

• Quadratic Scaling을 Linear Scaling으로 전환한 Subquadratic Architecture 설계
• 토큰 간 전수 비교 방식을 탈피하여 컨텍스트 길이에 비례하는 연산 복잡도 달성
• 대규모 컨텍스트 윈도우에서도 연산 비용을 억제하는 새로운 LLM 클래스 정의
• SubQ 1M-Preview 모델을 통한 실질적인 아키텍처 구현 및 검증
• API, Coding Agent, Search 시스템으로의 확장 가능한 인터페이스 설계

Impact

• 12M 토큰 처리 시 기존 Frontier 모델 대비 Attention compute 약 1,000배 감소
• 컨텍스트 길이 증가에 따른 연산 비용 증가 곡선을 Quadratic에서 Linear로 변경

Key Takeaway

연산 복잡도의 차수(Degree)를 낮추는 아키텍처 설계가 대규모 데이터 처리의 경제성을 결정짓는 핵심 요소임.