Understanding Seq2Seq Neural Networks – Part 8: When Does the Decoder Stop?

Context

Seq2Seq 모델의 디코더는 언제 출력을 멈춰야 하는지에 대한 명확한 종료 조건이 필요하다. 이전 아티클에서는 번역 수행 과정을 다루었지만, 디코더의 생성 종료 시점에 대한 구체적인 메커니즘이 설명되지 않았다.

Technical Solution

• EOS(End-of-Sequence) 토큰을 디코더 출력층의 예측 신호로 사용: 디코더가 EOS 토큰을 예측하면 생성 프로세스 종료
• 최대 출력 길이 제약 도입: EOS 토큰 예측 전에 설정된 최대 시퀀스 길이에 도달하면 생성 중단
• 컨텍스트 벡터를 디코더 LSTM 초기화에 활용: 인코더의 양방향 LSTM 셀 출력으로 생성된 컨텍스트 벡터를 디코더 LSTM의 초기 상태로 사용
• 단어 임베딩 레이어에서 EOS 토큰으로 시작: 디코더의 입력 임베딩 레이어가 처음에는 EOS 토큰을 받고, 그 이후로는 출력층이 예측한 단어를 사용
• Teacher Forcing으로 훈련: 모델 훈련 시 예측된 토큰 대신 정답 토큰을 LSTM 입력으로 제공하여 안정적인 학습 수행

Key Takeaway

Seq2Seq 모델에서 디코더의 종료 메커니즘은 EOS 토큰 예측과 최대 길이 제약이라는 이중 조건으로 동작하며, 훈련 시 Teacher Forcing 기법을 통해 정확한 시퀀스 생성을 학습한다.