LLM 파라미터 및 Quantization 분석을 통한 최적 하드웨어 매칭 전략
LLM Model Names Decoded: A Developer's Guide to Parameters, Quantization & Formats
Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로
카카오가 Pre-training과 Post-training 사이에 Mid-training 단계를 도입하고 Pre-training 데이터를 50B 토큰 규모로 리플레이해 한국어 성능 저하를 방지하면서 수학 벤치마크 AIME24에서 9.21%에서 53.21%로 성능 향상
Language Technologies Lab이 SigLIP 인코더와 MLP 프로젝터를 Salamandra 7B LLM에 통합해 이미지·비디오 멀티모달 이해 능력 추가
Visual Salamandra: Pushing the Boundaries of Multimodal Understanding
StarCoder2 팀이 자체 생성 데이터로 자가 정렬하는 파이프라인을 구축해 GPT-4 증류 없이 CodeLlama-70B-Instruct를 72.6점으로 능가
StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation
Hugging Face 연구팀이 InstructPix2Pix의 학습 방식에 FLAN V2의 instruction-tuning 개념을 결합하여 Stable Diffusion이 카르툰화·이미지 디레이닝 같은 특정 이미지 변환 작업을 명령어 기반으로 수행하도록 fine-tuning
Instruction-tuning Stable Diffusion with InstructPix2Pix