Positional Encoding과 Self-Attention을 통한 Decoder 레이어 구조 설계

Context

Transformer Decoder 내에서 출력 토큰 간의 순서 정보 결여 및 관계 파악 필요성 대두. Encoder와 독립적인 가중치 체계를 통해 출력 시퀀스 최적화 추구.

Technical Solution

• Sine/Cosine 함수 기반 Positional Encoding 적용을 통한 토큰 위치 정보 부여
• 토큰의 Embedding 값에 위치별 고유 값을 합산하여 순차적 맥락 생성
• Decoder 전용 Query, Key, Value 가중치 설계를 통한 Self-Attention 메커니즘 구현
• 출력 단어 간의 상호 관계 추적을 위한 Self-Attention 레이어 배치
• 기울기 소실 방지 및 학습 안정성 확보를 위한 Residual Connections 도입