Softmax 기반 Weighting을 통한 Self-Attention Value 산출 메커니즘
Understanding Transformers Part 7: From Similarity Scores to Self-Attention
NLP 업계가 2026년 핵심 4가지 기술 트렌드(World Models, Efficient Attention, Autonomous Agents, On-Device NLP)를 중심으로 정적 모델에서 동적 이해로 패러다임 전환
Exploring the Future of NLP: Trends, Techniques, and Tools in 2026
Transformers 라이브러리가 MoE 모델을 위한 무게 로딩 파이프라인과 분산 실행 모델을 재설계해 21B 파라미터 모델을 3.6B 활성 파라미터로 실행
Mixture of Experts (MoEs) in Transformers
Hugging Face가 Transformers v5에서 토크나이저를 파이썬 2개 파일(slow/fast)에서 1개 파일로 통합하고 아키텍처를 명시적으로 노출해 커스터마이제이션 가능성 향상
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
Hugging Face Transformers v5 릴리스로 모델 아키텍처를 40개에서 400개 이상으로 확대하면서 모듈화 접근과 PyTorch 단일화로 코드 리뷰 복잡도 대폭 감소
Transformers v5: Simple model definitions powering the AI ecosystem
Hugging Face Transformers가 Hub에서 다운로드 가능한 커스텀 커널과 MXFP4 양자화를 통합해 GPT-OSS 모델의 로딩·추론·파인튜닝 성능을 2~10배 향상
Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers
SGLang이 Hugging Face transformers를 백엔드로 통합해 네이티브 지원되지 않는 모델을 즉시 고성능 추론으로 실행 가능
Transformers backend integration in SGLang
Hugging Face Transformers가 300+ 모델 아키텍처를 표준화해 vLLM, SGLang, TGI 등 다운스트림 라이브러리에 자동으로 호환되도록 구성
The Transformers Library: standardizing model definitions
Hugging Face가 TimmWrapper를 개발해 PyTorch Image Models의 32K개 컴퓨터 비전 모델을 Transformers 에코시스템과 통합
Timm ❤️ Transformers: Use any timm model with transformers
NVIDIA가 LogitsProcessorZoo 라이브러리를 공개하여 언어 모델의 토큰 생성 확률을 직접 수정함으로써 출력 제약 적용, 핵심 문구 강제, 객관식 답변 유도 등 작업별 맞춤형 제어 가능
Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo
Google DeepMind과 Hugging Face가 SynthID Text를 Transformers v4.46.0에 출시해 LLM 생성 텍스트에 워터마크를 적용 및 감지하는 기능 제공
Introducing SynthID Text
Hugging Face Transformers 팀이 그래디언트 누적(Gradient Accumulation) 중 손실 계산 방식을 수정해 토큰 레벨 작업에서 수학적 동등성 보장
Fixing Gradient Accumulation
Hugging Face가 Chat Templates를 Tool Use로 확장하여 Mistral, Cohere, NousResearch, Llama 등 여러 모델 패밀리에서 동일한 코드로 도구 호출 가능
Tool Use, Unified
Hugging Face가 Transformer 기반 확산 모델에 Quanto 양자화를 적용해 SD3의 GPU 메모리 사용량을 18.765GB에서 8.2GB로 55% 감소
Memory-efficient Diffusion Transformers with Quanto and Diffusers
Hugging Face와 KerasHub이 공유 모델 저장 형식을 도입해 300K+ Transformers 모델을 KerasHub에서 직접 로드 가능하도록 통합
Announcing New Hugging Face and KerasHub integration
Hugging Face의 Transformers Agents가 Code Agent 방식 도입으로 GAIA 벤치마크에서 검증셋 44.2% 달성해 기존 최고 성능(40%)을 초과
Our Transformers Code Agent beats the GAIA benchmark 🏅
Hugging Face가 AMD Instinct MI300 GPU를 Transformers와 text-generation-inference에 통합해 코드 변경 없이 로컬 환경부터 Azure 프로덕션까지 배포 지원 및 Llama 3 70B 학습 속도 2배 향상 달성
Hugging Face on AMD Instinct MI300 GPU
Hugging Face가 KV Cache Quantization을 도입해 장문 생성 시 메모리 사용량을 유의미하게 절감하면서 모델 정확도 유지
Unlocking Longer Generation with Key-Value Cache Quantization
Hugging Face Transformers 라이브러리를 활용하여 사전 학습된 Phi-2 LLM을 Jupyter 노트북에서 GPU 기반으로 실행하는 방법 소개
Total noob’s intro to Hugging Face Transformers
Hugging Face에서 Patch Time Series Transformer(PatchTST) 모델을 통해 시계열 데이터를 패치로 분할 처리해 Transformer 기반 예측 성능 제공
Patch Time Series Transformer in Hugging Face