Google이 agent skills을 활용하여 LLM의 SDK 지식 격차를 해소하는 방안을 공개했다

Context

LLM은 특정 시점의 데이터로 학습되므로 최신 SDK 변경사항이나 베스트 프랙티스를 반영하지 못한다. 새로운 라이브러리가 매일 출시되고 개발 관행이 빠르게 변화하면서 모델과 현실 간에 지속적 격차가 발생한다.

Technical Solution

• Gemini API 코딩 에이전트용 스킬을 개발하여 최신 모델과 SDK 정보를 제공한다
• API 기능셋, 현재 모델과 SDK, 언어별 샘플 코드, 문서 포인트를 포함하도록 설계했다
• 117개 프롬프트로 Python과 TypeScript 코드를 생성하는 평가 환경을 구축했다
• 스킬 활성화 시 activate_skill와 fetch_url 도구를 모델에 제공했다

Impact

gemini-3.1-pro-preview에서 vanilla 28.2%에서 skill 적용 시 96.6%로 성능이 향상되었다. gemini-3-flash-preview에서도 vanilla 6.8%에서 87.2%로 개선되었다. 최신 Gemini 3 시리즈 모델이 reasoning 지원과 결합되면서 스킬 효과가 극대화되었다.

Key Takeaway

스킬은 효과적인 지식 전달 수단이지만 최신 모델의 reasoning 능력과 결합되어야 최대 효과를 발휘한다.