피드로 돌아가기
Dev.toAI/ML
원문 읽기
비선형 활성화 함수와 Attention 기반의 고차원 데이터 피팅 아키텍처 분석
Neural Networks: A Broad Overview
AI 요약
Context
단순 선형 변환의 중첩으로는 복잡한 데이터 패턴 학습에 한계가 존재함. 층을 깊게 쌓더라도 하나의 선형 행렬로 축소되는 구조적 결함으로 인해 모델의 표현력(Expressivity) 확보가 불가능한 상황임.
Technical Solution
- ReLU 도입을 통한 비선형성 확보 및 Gradient Vanishing 문제 해결
- Weight와 Bias의 조합으로 임의의 결정 경계(Decision Boundary)를 형성하는 가설 공간 설계
- Cross-Entropy Loss 적용을 통한 확률 분포 기반의 분류 최적화 및 오차 역전파 체계 구축
- Attention Mechanism 기반의 Q, K, V 프로젝션을 통한 입력 데이터 간의 동적 관련성 산출
- Layer Normalization 적용으로 Internal Covariate Shift를 억제하고 학습 안정성 확보
- Bias-Variance Tradeoff 조절을 통한 Underfitting과 Overfitting의 균형점 최적화
실천 포인트
1. 모델의 깊이 증가 시 ReLU와 같은 비선형 활성화 함수가 필수적으로 포함되었는지 검토
2. Transformer 계열 아키텍처 설계 시 Batch Norm 대신 Layer Norm을 우선적으로 고려
3. 분류 태스크에서는 RSS 대신 Cross-Entropy Loss를 사용하여 예측 확률의 신뢰도 최적화
4. 모델 성능 저하시 파라미터 수와 데이터 복잡도를 비교하여 Bias/Variance 수준 분석