Google Research팀이 사전학습된 BERT/GPT2 체크포인트로 Encoder-Decoder 모델을 초기화해 T5·Pegasus 수준의 성능을 학습 비용의 일부만으로 달성

Context

Encoder-Decoder 기반 Transformer 모델은 순서-순서(sequence-to-sequence) 작업에서 우수한 성능을 보이지만, 대규모 사전학습에 막대한 계산 비용이 필요하다. 이로 인해 대형 기업과 연구기관만 T5, Pegasus 같은 대규모 사전학습 모델을 개발할 수 있었다.

Technical Solution

• BERT 또는 GPT2 같은 사전학습된 단일 모델 체크포인트를 Encoder-Decoder 모델의 초기값으로 사용: Encoder 부분에 BERT 로드, Decoder 부분에 GPT2 로드
• EncoderDecoderModel 프레임워크를 활용해 서로 다른 아키텍처의 사전학습 체크포인트를 호환 가능한 형태로 변환하고 결합
• 텍스트 요약 작업(CNN/Dailymail 데이터셋)에서 토큰화 → 출력 토큰 ID 생성 → 디코딩 파이프라인 구성
• 배치 크기 16으로 설정하고 map() 함수로 테스트 데이터 전체에 대해 추론 수행
• ROUGE-2 메트릭을 사용해 생성된 요약의 품질을 평가

Impact

따뜻한 시작(warm-start)으로 초기화된 BERT2BERT 모델은 CNN/Dailymail 전체 평가 데이터셋에서 ROUGE-2 점수 18.22를 달성했으며, 이는 원논문에서 보고한 성능을 약간 상회한다. 사전학습 비용을 제거함으로써 대규모 Encoder-Decoder 모델 개발을 낮은 리소스 환경에서 가능하게 했다.

Key Takeaway

순서-순서 작업에 사전학습된 모델이 없을 때, 이미 공개된 Encoder-only 및 Decoder-only 체크포인트를 조합해 새로운 아키텍처를 부트스트래핑하면 처음부터 학습하는 것보다 비용 효율적으로 경쟁력 있는 성능을 달성할 수 있다.