C언어 기반 순수 구현으로 Transformer 내부 동작을 완전히 제어한 TRiP 엔진

Context

대부분의 Transformer 구현체가 PyTorch 등 고수준 프레임워크에 의존하여 하위 레벨의 연산 흐름을 파악하기 어려운 제약 존재. 모델 내부의 Matrix Multiplication부터 Gradient Flow까지 전 과정을 직접 제어하여 교육적 목적의 Full-stack 이해도를 확보하고자 함.

Technical Solution

• Framework-less 설계: 외부 라이브러리 없이 C언어 기반의 Linear Algebra를 직접 구현하여 추론 및 학습 전 과정 제어
• Residual Stream 중심 구조: 데이터 버스 형태의 벡터 흐름을 통해 각 Layer가 읽기/쓰기를 수행하는 아키텍처 설계
• Symmetric Math Implementation: 모든 수학 연산을 Forward와 Backward 쌍으로 인접 배치하여 Chain Rule 기반의 Gradient Flow 가시성 확보
• Memory-mapped I/O: mmap을 활용한 RAM-optimized 모드를 도입하여 제한된 하드웨어 환경 내 대형 모델 로드 가능케 함
• Multimodal Integration: JPEG 처리 및 X11 디스플레이 인터페이스를 직접 통합하여 PaliGemma 기반의 Vision-Language 추론 구현