Hybrid 모델 도입 통한 Content Word 예측 Loss Gap 0.04 달성
Which tokens does a hybrid model predict better?
O(n²) Attention 병목 해결을 위한 연산 최적화 및 Memory IO 혁신
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
Parallel Processing 기반 Transformer 블록의 계층적 구조 설계
Transformers From Scratch: Assembling the Block Behind GPT
Transformer를 가능케 한 3가지 엔지니어링 패치 분석
Three Ideas Made Modern AI Possible. None of Them Are Magic.
Transformer를 가능케 한 3가지 핵심 엔지니어링 패치 분석
Three Ideas Made Modern AI Possible. None of Them Are Magic.
VRAM 최적화 설계를 통한 8GB GPU 기반 SDXL 추론 안정성 확보
How to Fix CUDA Out of Memory Errors in Stable Diffusion WebUI
RNN의 한계를 깨고 현대 AI의 표준이 된 Transformer 아키텍처 분석
"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.
작은 언어 모델 GuppyLM으로 언어 모델의 작동 원리를 직접 체험하기
9M 파라미터 GuppyLM으로 분석하는 LLM의 내부 동작 원리
Attention 메커니즘을 통한 Decoder의 문맥 파악 및 디코딩 최적화
Understanding Attention Mechanisms – Part 6: Final Step in Decoding
Seq2Seq 모델의 단일 context vector 구조가 긴 문장 처리 시 초기 단어 손실 문제를 발생시켜 Attention 메커니즘 도입의 필요성 제시
Understanding Attention Mechanisms – Part 1: Why Long Sentences Break Encoder–Decoders
Engram이 벡터 데이터베이스와 계층 간 메모리 주입으로 12계층 트랜스포머와 동등한 성능을 900K 파라미터 규모에서 구현
Engram: A new type of AI
Google DeepMind이 Perceiver IO를 HuggingFace Transformers에 추가해 텍스트, 이미지, 오디오, 비디오, 포인트 클라우드 등 모든 모달리티를 단일 아키텍처로 처리
Perceiver IO: a scalable, fully-attentional model that works on any modality
Vaswani et al.이 Attention is all you need 논문으로 제시한 Transformer 기반 Encoder-Decoder 아키텍처가 NLP의 표준 시퀀스-투-시퀀스 모델로 정착
Transformer-based Encoder-Decoder Models