Computer Vision 기반 약용 식물 식별 및 질병 진단 시스템 구축
AI-Based Medicinal Plant Leaf Analysis System
Technology Innovation Institute(TII)가 Falcon 3 기반으로 아랍어 토크나이저 32,000개 확장 및 임베딩 초기화 전략 도입으로 동일 크기 모델 대비 성능 우위 달성
Falcon-Arabic: A Breakthrough in Arabic Language Models
Answer.AI와 LightOn이 BERT의 아키텍처와 훈련 방식을 LLM 최신 기법으로 개선하여 ModernBERT 출시, 8192 시퀀스 길이와 기존 BERT 대비 향상된 다운스트림 성능 달성
Finally, a Replacement for BERT: Introducing ModernBERT
Hugging Face에서 Patch Time Series Transformer(PatchTST) 모델을 통해 시계열 데이터를 패치로 분할 처리해 Transformer 기반 예측 성능 제공
Patch Time Series Transformer in Hugging Face
생물학자들이 BERT/GPT 기반 단백질 언어모델(ESM-2, ProtBERT)을 전이학습으로 파인튜닝해 제한된 학습 데이터로 단백질 분류 및 폴딩 작업 수행
Deep Learning with Proteins
Hugging Face가 TensorFlow 기반 Transformers 라이브러리에서 Keras를 핵심 추상화 계층으로 채택하여 PyTorch 사용자도 쉽게 사전학습 모델을 로드하고 전이학습을 수행할 수 있는 일관된 API 제공
Hugging Face's TensorFlow Philosophy
Hugging Face Hub이 fastai와 통합되어 Python 한 줄로 학습된 신경망 모델을 공유 및 로드 가능
Welcome fastai to the Hugging Face Hub
Google이 Transformer 아키텍처와 MLM(Masked Language Model) 학습 방식을 도입해 11개 이상의 NLP 작업을 단일 모델로 해결
BERT 101 - State Of The Art NLP Model Explained
Hugging Face Transformers를 사용해 XLS-R-300M 모델을 터키어 저리소스 음성인식 데이터셋(4시간)에 미세조정해 CTC 손실함수로 음성-텍스트 변환 모델 구축
Fine-Tune XLSR-Wav2Vec2 for low-resource ASR with 🤗 Transformers
Google Research팀이 사전학습된 BERT/GPT2 체크포인트로 Encoder-Decoder 모델을 초기화해 T5·Pegasus 수준의 성능을 학습 비용의 일부만으로 달성
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models