Google Research팀이 사전학습된 BERT/GPT2 체크포인트로 Encoder-Decoder 모델을 초기화해 T5·Pegasus 수준의 성능을 학습 비용의 일부만으로 달성
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Transformer-based Encoder-Decoder Models