Transformer 탈피, Learned Geometry 기반 Latent Motion 언어 생성 모델 구현

Context

Attention 메커니즘 기반의 Transformer 아키텍처가 현대 NLP를 주도하나, Context Window 내의 단순 Attention 연산에 의존하는 구조적 한계 존재. 이에 Token Sequence를 참조하는 방식이 아닌, 학습된 기하학적 공간 내에서 상태를 전이시키는 새로운 생성 패러다임의 필요성 제기.

Technical Solution

• Self-attention 및 KV Cache를 완전히 제거하고 Learned Relational Manifold를 통한 상태 전이 구조 설계
• Token 입력 시 Latent State(z_t)를 정의하고 Direction Field 및 Relational Metric을 통해 상태 변화량(dz)을 계산하는 제어 메커니즘 도입
• 단순한 Token-Token 상호작용 대신 State-Motion-Emission 역학을 통해 컨텍스트를 전방으로 운반하는 Autoregressive 구조 구현
• Metric Action 및 State Updater를 통해 잠재 공간 내의 이동 경로를 수학적으로 정량화하고 측정 가능한 구조적 진단 체계 구축
• Learned Metric 기반의 기하학적 제약 조건을 통해 Latent State의 붕괴 여부 및 이동 안정성을 모니터링하는 진단 로직 통합