피드로 돌아가기
Dev.toAI/ML
원문 읽기
SmolLM2-135M 모델을 통한 LLM 3단계 학습 구조 분석
Foundation vs. Instruct vs. Chat Models: One Question, Three Answers
AI 요약
Context
단순 LLM이라는 용어 속에 혼재된 Foundation, Instruct, Chat 모델의 기능적 차이에 대한 혼동 존재. 단순 텍스트 생성 모델을 사용자 지시 수행이 가능한 AI 어시스턴트로 진화시키는 단계적 학습 구조 파악 필요.
Technical Solution
- Next Token Prediction 기반의 Foundation 모델을 통한 방대한 지식 습득 및 통계적 텍스트 완성 구조 설계
- (Instruction → Response) 쌍의 데이터셋을 활용한 Fine-tuning으로 사용자의 지시사항을 수행하는 Instruct 모델 구현
- Control Token 및 Chat Template을 적용한 정형화된 Prompt Format 강제를 통해 모델의 응답 일관성 확보
- Instruct 모델의 가중치를 그대로 유지한 채 Multi-turn Message List를 관리하는 Interface 레이어 추가로 Chat 모델 구현
- Role-tagged Messages 구조를 통한 대화 문맥 유지 및 이전 턴의 컨텍스트를 다음 추론으로 전달하는 메커니즘 적용
실천 포인트
- 모델 선택 시 단순 성능 수치보다 Base/Instruct/Chat 여부에 따른 Task 적합성 우선 검토 - Instruct 모델 사용 시 Tokenizer에 내장된 apply_chat_template을 통한 정확한 Prompt Formatting 적용 여부 확인 - Multi-turn 대화 구현 시 모델 가중치 변경이 아닌 메시지 히스토리 관리 로직의 설계 적절성 검토