Hybrid 모델 도입 통한 Content Word 예측 Loss Gap 0.04 달성

Context

표준 Transformer 아키텍처는 Attention 메커니즘을 통한 정밀한 정보 회상에 강점이 있으나, 순차적으로 진화하는 정보의 상태 표현과 입력 길이 증가에 따른 연산 비용 상승이라는 한계를 가짐.

Technical Solution

• Attention Layer 일부를 Recurrent Layer로 대체한 Hybrid 구조 설계
• Recurrent Layer의 Fixed-size Memory를 통한 순차적 정보 압축 및 상태 추적 기능 구현
• 입력 데이터 처리 비용을 상수로 유지하는 Recurrent 메커니즘을 통한 효율성 확보
• 의미 중심의 Open-class Token 처리를 위해 Recurrent Layer의 State-tracking 역량 활용
• Attention의 직접 참조 능력과 Recurrent의 순차적 요약 능력을 결합한 상호 보완적 구조 채택

Impact

• Content Word(명사, 동사, 형용사) 예측에서 Transformer 대비 약 0.04의 Loss Gap 우위 기록
• Function Word 예측 영역에서 약 0.02의 Loss Gap 발생으로 의미 기반 토큰 처리 효율 입증