TRL 기반 Gemma 4 Multimodal Fine-Tuning을 통한 도구 호출 최적화

Context

기존 모델의 Prompt Engineering 기반 Function Calling은 내부 API 및 복잡한 Tool Schema 대응 시 일관성이 부족한 한계 존재. 특히 텍스트 기반 응답에 국한되어 도구가 생성한 이미지 결과물에 대한 추론 및 학습이 불가능했던 구조임.

Technical Solution

• TRL SFTTrainer의 Multimodal Tool Support 도입을 통한 이미지 출력값의 Training Trajectory 포함 설계
• Gemma 4 Chat Template의 native support를 활용한 system/user/assistant/tool 역할의 정밀한 정의
• QLoRA 기법을 적용하여 소비자용 GPU에서도 학습 가능한 4-bit Quantization 최적화 수행
• Tool call → Response → Reasoning → Next call로 이어지는 Multi-turn 시퀀스 학습으로 복잡한 추론 체인 구축
• 도구 미사용 시의 직접 응답 및 에러 발생 시 처리 로직을 데이터셋에 반영하여 정책적 의사결정 모델링
• LoRA Adapter 분리 저장을 통해 베이스 모델 재로드 없이 Tool Schema별 런타임 교체 구조 확보