확률적 Next-Token Prediction 기반의 LLM 아키텍처 분석

Context

전통적인 결정론적 시스템과 달리 LLM은 텍스트 데이터의 통계적 패턴을 학습한 신경망 구조를 가짐. 단순한 데이터베이스 쿼리가 아닌 확률 기반의 생성 모델로서 발생하는 Hallucination 및 Context Window 제약이라는 근본적 한계 존재.

Technical Solution

• Tokenization을 통한 텍스트의 정수 시퀀스 변환 및 Vocabulary 매핑
• Embedding 벡터화를 통한 단어 간 의미적 거리를 고차원 공간의 기하학적 좌표로 표현
• Attention 메커니즘을 활용해 문맥 내 토큰 간 상관관계를 계산하고 동적으로 가중치 부여
• Multi-layer Transformer 구조를 통해 단순 패턴부터 고차원적 추론까지 계층적으로 처리
• Softmax 기반의 Probability Distribution 생성 후 Temperature 설정에 따른 토큰 샘플링 수행
• 이전 출력 토큰을 다시 입력에 포함하는 Autoregression 루프를 통한 연속 텍스트 생성