피드로 돌아가기
Dev.toAI/ML
원문 읽기
O(n²) Attention 병목 해결을 위한 연산 최적화 및 Memory IO 혁신
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
AI 요약
Context
LLM의 Context length 증가에 따라 모든 Token을 상호 비교하는 Full Attention의 O(n²) 연산 비용이 급격히 증가함. 입력 데이터 10배 증가 시 연산량이 100배 폭증하는 구조적 한계로 인해 추론 속도 저하와 GPU 메모리 비용 상승이 주요 병목으로 작용함.
Technical Solution
- Local Attention을 통한 Window 기반 제약으로 연산 복잡도를 O(n × window)로 낮춘 설계
- Sparse Attention 구조를 도입하여 Local window와 Global token을 혼합한 선택적 연결성 확보
- FlashAttention 도입을 통한 하드웨어 레벨의 Memory IO 최적화 구현
- SRAM 내에서 블록 단위 연산을 수행하여 대규모 Intermediate matrix의 Main Memory 쓰기 작업 제거
- 단순 수식 최적화가 아닌 Memory-bound 문제 해결을 위한 Tiling 및 Recomputation 전략 채택
실천 포인트
- Long-context 처리 시 정확도와 비용 간의 Trade-off 분석을 통한 Attention 전략(Local vs Sparse) 선택 - 모델 로직 변경 없이 성능 향상이 필요한 경우 하드웨어 가속 최적화 라이브러리(FlashAttention 등) 우선 검토 - 알고리즘 복잡도(Time Complexity)뿐만 아니라 메모리 접근 패턴(Memory Bound) 관점의 프로파일링 수행