Fixed-size Vector 압축 한계를 극복한 Attention 기반 Dynamic Context 참조 설계
Attention Mechanisms: Stop Compressing, Start Looking Back
Google Research팀이 사전학습된 BERT/GPT2 체크포인트로 Encoder-Decoder 모델을 초기화해 T5·Pegasus 수준의 성능을 학습 비용의 일부만으로 달성
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Vaswani et al.이 Attention is all you need 논문으로 제시한 Transformer 기반 Encoder-Decoder 아키텍처가 NLP의 표준 시퀀스-투-시퀀스 모델로 정착
Transformer-based Encoder-Decoder Models