RNN의 한계를 깨고 현대 AI의 표준이 된 Transformer 아키텍처 분석

Context

기존 RNN 구조의 순차적 데이터 처리 방식. 문장이 길어질수록 초기 정보가 소실되는 문제 발생. 전체 문맥을 효율적으로 기억하지 못하는 구조적 한계.

Technical Solution

• Query, Key, Value 개념을 도입하여 단어 간 연관성을 계산하는 Attention 메커니즘 설계
• 여러 개의 Attention 헤드를 병렬로 운용하여 구문, 참조, 의미 등 다각도 문맥을 동시에 분석하는 Multi-Head Attention 구조
• 단어의 위치 정보를 수치화하여 입력값에 더해주는 Positional Encoding 방식으로 병렬 처리 시 순서 정보 손실 해결
• 입력 문장을 이해하는 Encoder와 결과물을 생성하는 Decoder의 분리 및 Cross-Attention을 통한 정보 교환 체계 구축
• Layer Normalization과 Residual Connection을 적용하여 심층 신경망 학습 시의 수치적 안정성 확보
• Softmax 함수를 이용한 전체 어휘 사전 기반의 확률 분포 출력 방식

Key Takeaway

순차적 처리에서 병렬 처리로의 패러다임 전환을 통해 연산 효율성과 장거리 문맥 파악 능력을 동시에 확보한 설계 전략.