Transformer를 가능케 한 3가지 엔지니어링 패치 분석

Context

신경망 심화 단계에서 Gradient Vanishing 및 Exploding 문제로 인한 학습 불능 상태 발생. 56-layer 네트워크가 20-layer보다 낮은 훈련 정확도를 보이는 등 층의 깊이가 오히려 성능 저하를 초래하는 병목 지점 확인.

Technical Solution

• Skip Connection 도입을 통한 identity function 학습 부담 제거 및 Gradient의 직접적인 역전파 경로 확보
• Normalization 적용으로 활성화 값의 scale drift를 방지하여 학습 속도 향상 및 가중치 초기화 의존도 감소
• Attention 메커니즘으로 순차적 처리(Recurrence)를 제거하고 모든 토큰 간의 가중치 기반 직접 참조 구조 설계
• Parallel Computing 최적화를 위해 시퀀스 데이터의 의존성을 제거함으로써 GPU 연산 효율 극대화
• 위 3가지 요소를 결합한 Transformer 블록의 반복적 적층을 통해 대규모 모델의 안정적 학습 구조 완성