Google가 Gemma 모델 라인업에 2.6B 경량 버전, 안전 분류 도구, 해석 가능성 스위트를 추가해 온디바이스 배포와 애플리케이션 안전성 강화 지원

Context

대규모 언어 모델은 배포 환경의 제약으로 인해 소형 모델의 필요성이 증가했고, 또한 생성 모델의 유해한 출력을 필터링해야 하는 요구사항이 커졌다. 모델의 내부 동작을 이해하기 위한 기계적 해석 가능성(mechanistic interpretability) 연구도 활발해졌다.

Technical Solution

• Gemma 2 2B 모델 출시: 2.6B 파라미터 규모로 기존 9B, 27B 모델과 동일한 아키텍처(sliding attention, logit soft-capping) 유지하며 온디바이스 실행 가능
• bfloat16 데이터 타입을 추론에 권장하여 메모리 효율성 확보
• Transformers, llama.cpp, GGUF 포맷 등 다양한 프레임워크와 런타임에서 직접 사용 가능하도록 지원
• ShieldGemma 안전 분류기: Gemma 2 기반으로 학습된 시계열 안전 분류 모델(2B, 9B, 27B 버전)으로 입력/출력 필터링 기능 제공
• Gemma Scope 스파스 오토인코더(SAE) 스위트: Gemma 2 2B와 9B의 모든 레이어에 대해 학습된 SAE를 공개해 모델 내부 활성화를 해석 가능한 개념으로 분해

Impact

Open LLM Leaderboard v2 평가에서 Gemma 2 2B-it가 동일 규모 경쟁 모델 대비 평균 점수 17.0점으로 상위 성과 달성(Phi-2: 15.5점, Qwen2-1.5B: 13.9점). ShieldGemma 모델군은 내부 데이터셋 기준 Optimal F1 0.825~0.830, AU-PRC 0.883~0.894 달성. OpenAI Moderation API와 LlamaGuard2 같은 기존 안전 분류 솔루션을 능가하는 성과.

Key Takeaway

소형 언어 모델과 전문화된 안전 분류기, 해석 가능성 도구를 통합 공개함으로써 개발자들이 리소스 제약 환경에서도 안전하고 투명한 생성형 AI를 구축할 수 있는 생태계 조성. 특히 온디바이스 배포와 모델 동작 이해라는 두 가지 핵심 요구사항을 동시에 해결.