WRITER가 Chain of Thought 학습으로 1.5B~1.7B 경량 모델 3종을 출시해 GSM8K 82.87%, AMC23 92.5% 달성
Introducing the Palmyra-mini family: Powerful, lightweight, and ready to reason!
Falcon-LLM 팀이 Transformer와 State Space Model을 병렬 조합하는 하이브리드 아키텍처로 0.5B~34B 규모의 6가지 모델 계열 개발, 동일 크기 Transformer 모델 대비 4배 입력 처리량과 8배 출력 생성량 달성
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance
Falcon-Edge 팀이 BitNet 아키텍처 기반 1.58비트 양자화 모델을 단일 사전학습으로 bfloat16과 양자화 변형을 동시에 생성해 에지 배포 용이성 확보
Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.
Open-R1 팀이 DeepSeek-R1의 공개되지 않은 학습 데이터셋과 코드를 재현해 오픈소스 추론 모델 구축 기반 마련
Open-R1: a fully open reproduction of DeepSeek-R1
Hugging Face가 ChatGPT 등 대화형 AI 에이전트의 학습 기법(IFT, SFT, RLHF, CoT)을 비교 분석해 대화형 언어 모델 개발의 핵심 패턴 정리
What Makes a Dialog Agent Useful?
게임 개발팀이 ChatGPT를 게임 디자인 브레인스토밍 도구로 활용해 5일 내 파밍 게임의 핵심 게임플레이 요소 도출
AI for Game Development: Creating a Farming Game in 5 Days. Part 2
생물학자들이 BERT/GPT 기반 단백질 언어모델(ESM-2, ProtBERT)을 전이학습으로 파인튜닝해 제한된 학습 데이터로 단백질 분류 및 폴딩 작업 수행
Deep Learning with Proteins
Hugging Face 팀이 DeDLOC 알고리즘으로 인터넷 연결된 40명의 자원봉사자 GPU를 활용해 벵골어 언어모델 sahajBERT를 학습시킨 대규모 분산 협업 훈련 성공 사례
Deep Learning over the Internet: Training Language Models Collaboratively
Google Research팀이 사전학습된 BERT/GPT2 체크포인트로 Encoder-Decoder 모델을 초기화해 T5·Pegasus 수준의 성능을 학습 비용의 일부만으로 달성
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Hugging Face Transformers 라이브러리가 Greedy Search, Beam Search, Top-K/Top-P Sampling 등 3가지 텍스트 생성 디코딩 방식을 API로 제공하여 언어 모델의 출력 품질 제어 가능
How to generate text: using different decoding methods for language generation with Transformers