Scaling 한계를 넘는 Developmental Learning 기반의 인과관계 추론 모델 제안

Context

Transformer 기반 LLM이 Parameter 수를 확장하며 벤치마크 성능을 높였으나, 이는 일반화가 아닌 정교한 Memorisation의 결과임. 특히 Attention 메커니즘의 특성상 데이터 분포 내 패턴 매칭에 의존하여, 실제 Reasoning이 필요한 상황에서 시스템적 실패가 발생하는 한계 노출.

Technical Solution

• Scaling Law에 의한 단순 파라미터 증설 대신 모델의 조직적 학습 방식 변화 필요
• Chain-of-thoughts의 한계인 단순 상태 활성화 방식을 넘어선 Associative thinking 구현 지향
• 예측된 미래 상태와 실제 결과 간의 Divergence를 학습 목표로 설정하는 Developmental Learning 도입
• 단순 패턴 매칭이 아닌 Cause and Effect 모델링을 통한 인과관계 추론 능력 확보
• 데이터 분포 의존성을 탈피하여 새로운 상황에 대해 Extrapolate 할 수 있는 학습 패러다임 전환