작은 언어 모델 GuppyLM으로 언어 모델의 작동 원리를 직접 체험하기

Context

LLM의 내부 구조와 작동 원리를 이해하기 위한 교육적 접근 필요. 복잡한 대규모 모델 대신 단순화된 구현체를 통한 학습 구조 지향.

Technical Solution

• multi-head attention, ReLU FFN, LayerNorm, positional embedding 등 LLM 핵심 컴포넌트의 최소 구현체 설계
• 9M 파라미터 규모의 경량 설계를 통한 모델 추론 과정의 가시성 확보
• 3D 시각화 도구를 활용한 LLM 레이어별 데이터 흐름의 직관적 분석 방식
• 소문자 기반 학습 데이터 구성을 통한 토크나이저의 입력값 처리 한계 및 대소문자 민감도 검증
• 환경 요소(자원 제약, 지속 메모리) 변화에 따른 에이전트 행동 양식의 상관관계 분석

Key Takeaway

모델 자체의 최적화만큼이나 모델이 작동하는 환경 설계가 결과값의 질과 행동 양식에 결정적인 영향을 미치는 아키텍처적 특성.