Needle - Gemini 도구 호출을 증류한 2600만 파라미터 모델
Gemini 증류 기반 26M 파라미터의 초경량 Tool Use 모델 Needle 분석
AI 기반 Multi-modal 학습 파이프라인을 통한 48시간 내 KCNA 자격 취득
Learning in 2026 with AI - How I Prepared for and Passed KCNA
ArtifactNet: 코덱 물리학으로 AI 생성 음악을 탐지하는 경량 포렌식 프레임워크
RVQ 양자화 갭 분석을 통한 AI 음악 탐지 F1 0.983 달성
FP32 대비 모델 크기 4배 감소 및 Edge 최적화를 위한 모델 압축 전략
Model Compression Techniques for Edge Deployment
W4A16 양자화와 Pure Vision 기반 On-Device AI Agent 구현 및 최적화
On-Device AI Agents vs Cloud AI Agents: Which Path Are You Betting On?
LINE Engineering
메신저용 온디바이스 이미지 모델 학습기 1편: 지식 증류로 확장한 다국어 이미지 검색
카카오톡이 지식 증류 기법으로 영어 전용 텍스트 인코더를 다국어(5개 언어)로 확장해 Recall@5 78% 달성하며 온디바이스 이미지 검색 구현
컬리 기술블로그개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)
컬리가 RQ-VAE 기반 Semantic ID와 Transformer 기반 Dual-Head Architecture를 결합해 개인화 추천 시스템을 구축하고 CRM 캠페인 클릭률 55.6% 향상 달성
ServiceNow가 15B 추론 모델을 Mamba 하이브리드로 변환해 2.1배 처리량 증가 달성
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models
NVIDIA가 Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5 두 모델을 결합한 AI-Q로 DeepResearch Bench의 'LLM with Search' 카테고리 1위 달성
Measuring Open-Source Llama Nemotron Models on DeepResearch Bench
TII가 1024개 H100 GPU로 14조 토큰 학습 및 깊이 확장·지식 증류 기법으로 10B 이하 소형 LLM 5개 모델군 출시, 13B 미만 카테고리에서 최고 성능 달성
Welcome to the Falcon 3 Family of Open Models!
Google이 Gemma 2를 출시해 9B/27B 두 가지 크기의 오픈 LLM 모델을 제공하며 슬라이딩 윈도우 어텐션과 로짓 소프트 캐핑으로 성능 개선
Welcome Gemma 2 - Google’s new open LLM
Segmind가 Knowledge Distillation 기법으로 Stable Diffusion 모델을 35~55% 경량화하면서 추론 속도를 최대 100% 향상
Open-sourcing Knowledge Distillation Code and Weights of SD-Small and SD-Tiny