Seq2Seq 모델의 단일 context vector 구조가 긴 문장 처리 시 초기 단어 손실 문제를 발생시켜 Attention 메커니즘 도입의 필요성 제시

Context

기본 Encoder-Decoder 아키텍처는 LSTM을 펼쳐서 입력 문장 전체를 하나의 context vector로 압축한다. "Let's go" 같은 짧은 문장은 잘 작동하지만, 수천 개의 단어를 포함한 더 긴 문장에서는 초기에 입력된 단어들이 손실되는 문제가 발생한다. 예를 들어 "Don't eat the delicious-looking and smelling pasta"에서 "Don't"라는 첫 단어가 forgotten되면 의미가 완전히 바뀐다.

Technical Solution

• 기존 구조의 문제점 분석: 기본 RNN과 LSTM 모두 장기·단기 정보를 처리 경로로 압축할 때 시작 부분의 단어가 손실되는 bottleneck 존재
• LSTM의 개선 이점: 별도의 경로(paths)를 통해 장기 기억과 단기 기억을 분리하여 관리하도록 구조화
• Attention 메커니즘의 핵심 아이디어: Encoder에서 Decoder로 가는 단일 경로 대신 입력값 당 하나씩 복수의 새로운 경로 추가
• 직접 접근 구조: Decoder의 각 단계에서 관련된 입력값들에 직접 접근 가능하도록 설계

Key Takeaway

Seq2Seq 모델의 정보 병목 문제는 단일 context vector 구조에서 비롯되며, 이를 해결하기 위해 입력값당 독립적인 경로를 제공하는 Attention 메커니즘이 필수적이다.