개발자들이 12개 이상의 무료 LLM API 제공자를 비교하여 비용 없이 텍스트 생성 기능 구현 가능
Save money on AI using those permanent free LLM APIs
Intel Labs와 Hugging Face가 동적 추측 디코딩으로 LLM 텍스트 생성 속도 최대 2.7배 가속화
Faster Assisted Generation with Dynamic Speculation
Intel Gaudi에서 Speculative Sampling 기반 Assisted Generation을 구현해 텍스트 생성 속도 약 2배 향상
Faster assisted generation support for Intel Gaudi
Intel Gaudi 2 AI 가속기에서 Optimum Habana 라이브러리와 커스텀 파이프라인 클래스를 통해 Llama 2 모델의 텍스트 생성을 몇 줄의 코드로 실행 가능하게 구현
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator
AMD와 Hugging Face가 Transformers 라이브러리에 AMD Instinct GPU 네이티브 지원을 추가해 코드 변경 없이 MI250에서 A100 대비 2.33배 높은 디코딩 처리량 달성
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
Hugging Face Inference Endpoints로 Falcon 40B 같은 오픈소스 LLM을 수 클릭으로 프로덕션 API로 배포하고 자동 스케일링으로 미사용 시 비용 제거
Deploy LLMs with Hugging Face Inference Endpoints
Hugging Face가 Assisted Generation 디코딩 방식을 도입해 대규모 언어 모델의 텍스트 생성 레이턴시를 최대 10배 단축
Assisted Generation: a new direction toward low-latency text generation
Hugging Face Transformers에 Constrained Beam Search 기능 추가로 텍스트 생성 과정에서 특정 단어나 구문을 강제 포함 가능
Guiding Text Generation with Constrained Beam Search in 🤗 Transformers
Hugging Face Transformers 라이브러리가 Greedy Search, Beam Search, Top-K/Top-P Sampling 등 3가지 텍스트 생성 디코딩 방식을 API로 제공하여 언어 모델의 출력 품질 제어 가능
How to generate text: using different decoding methods for language generation with Transformers