Fallen Angel Systems가 아동의 학습 방식을 모방한 Genesis 프레임워크로 1.24억 개 파라미터 모델을 소비자용 GPU에서 124M 파라미터로 구동하며 대규모 모델의 환각, 망각, 경계 인식 부재 문제 해결

Context

현대 대규모 언어 모델은 인터넷 전체를 한 번에 학습하는 방식으로 훈련되어 재앙적 망각(catastrophic forgetting), 환각(hallucination), 보정되지 않은 불확실성, 지식 경계의 자기인식 부재 문제를 야기한다. GPT-4는 훈련에 1억 달러 이상이 소요되며, 다음 세대 모델은 수십억 달러가 필요할 것으로 예상된다.

Technical Solution

• 개발 단계별 학습 구조 도입: 언어 기초, 어휘 구축, 개념 형성, 대화, 동의의 5단계로 진행하며 각 단계마다 전제조건, 평가 게이트, 특정 교육학적 접근 방식 적용
• 개념 훈련 내 경험적 사이클 적용: 현상 관찰(Observe) → 가설 형성(Test) → 기존 지식과의 조화(Reflect) → 공식 라벨 부여(Name) 순서로 진행
• 꿈 상태 메모리 강화(Dream State Memory Consolidation): 각 학습 세션 후 모델이 현재 지식을 자동 생성하고, 건강도 지도(health map)로 퇴색 중인 개념과 약화되는 연결을 식별한 후 표적화된 강화를 실행
• 자기진화 엔진(Directed Self-Evolution Engine) 구현: 모델이 6가지 분류 범주에서 능력 격차를 자체 진단하고, 구조화된 라이브러리에서 개입을 제안하며, 샌드박스 포크에서 검증한 후 회귀 테스트를 거쳐 성공한 변경만 승격
• 미세 회로 아키텍처(Micro-Circuit Architecture) 적용: 약 147,000개 파라미터의 수십 개 소형 LoRA 어댑터로 특정 개념적 연결을 처리하고, 뇌의 시상 구조를 모방한 라우터로 각 쿼리에 관련된 회로만 활성화하여 각 미세 회로당 5% 미만의 파라미터 오버헤드 추가
• 뇌의 신경 경로 처리 원리 적용: 각 미세 회로 훈련에 약 7초 소요되며, 시스템이 소형이고 해석 가능한 상태 유지

Impact

OLT-1(Genesis 첫 학생 모델)이 물리학, 생물학, 사회 영역의 훈련된 22개 개념을 재앙적 망각 없이 유지했다.

Key Takeaway

아동 발달 심리학의 단계적 학습 모델을 신경망 훈련에 적용하면, 매개변수를 무한정 증가시키는 접근법의 근본적인 한계(망각, 환각, 불확실성 미보정)를 아키텍처 수준에서 해결할 수 있다. 뇌의 메모리 통합과 신경 라우팅 메커니즘을 모방하는 것이 단순 스케일 업보다 효과적이다.