Fixed-size Vector 압축 한계를 극복한 Attention 기반 Dynamic Context 참조 설계

Context

기존 RNN Encoder-Decoder 구조는 전체 입력 시퀀스를 단일 Fixed-size Vector로 압축하는 과정에서 정보 손실이 발생하는 Bottleneck 문제 직면. 특히 긴 문장 처리 시 초기 정보가 희석되는 Vanishing gradient 및 Context 망각 현상으로 인한 번역 품질 저하 발생.

Technical Solution

• Fixed-size Vector 압축 방식에서 모든 Encoder Hidden State를 유지하는 Non-compression 구조로 전환
• Decoder가 출력 단어 생성 시 입력 시퀀스의 모든 상태를 참조하는 Weighted Sum 방식의 Attention 메커니즘 도입
• Learned Compatibility Function을 통한 Decoder 현재 상태와 Encoder 상태 간의 연관도 계산 및 가중치 할당
• 입력 순서와 상관없이 필요한 시점의 Encoder State를 동적으로 참조하는 Non-sequential Access 구현
• SOV와 SVO 같은 언어 간 어순 차이를 해결하기 위한 Attention Weight Matrix 기반의 Dynamic Alignment 수행