Attention 메커니즘을 통한 Decoder의 문맥 파악 및 디코딩 최적화

Context

기존 Encoder-Decoder 구조의 단순 출력 방식 한계. EOS 토큰 생성 전까지 반복적인 Unrolling 과정 필요. 입력 문장 전체 정보를 하나의 고정 벡터로 압축하며 발생하는 정보 손실 문제.

Technical Solution

• Decoder의 Embedding Layer와 LSTM을 Unroll하여 이전 단계의 출력 단어를 입력으로 재투입하는 순환 구조
• 각 디코딩 단계에서 Encoder의 개별 단어 인코딩 값에 직접 접근하는 Attention 메커니즘 도입
• Similarity Score와 Softmax 함수를 활용한 입력 단어별 가중치 산출 방식
• 예측 대상 단어와 관련성이 높은 입력 정보에 집중하여 다음 단어를 생성하는 동적 가중치 할당 전략
• LSTM의 의존도를 낮추고 Attention 기반의 데이터 흐름을 강화하여 Transformer 구조로 나아가는 설계 기반 마련

Key Takeaway

전체 시퀀스를 고정된 벡터에 밀어 넣는 대신 Attention을 통해 필요한 시점에 필요한 정보만 선택적으로 참조하는 유연한 아키텍처 설계의 중요성.