RNN의 한계를 깨고 현대 AI의 표준이 된 Transformer 아키텍처 분석
"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.
작은 언어 모델 GuppyLM으로 언어 모델의 작동 원리를 직접 체험하기
9M 파라미터 GuppyLM으로 분석하는 LLM의 내부 동작 원리
Attention 메커니즘을 통한 Decoder의 문맥 파악 및 디코딩 최적화
Understanding Attention Mechanisms – Part 6: Final Step in Decoding
Seq2Seq 모델의 단일 context vector 구조가 긴 문장 처리 시 초기 단어 손실 문제를 발생시켜 Attention 메커니즘 도입의 필요성 제시
Understanding Attention Mechanisms – Part 1: Why Long Sentences Break Encoder–Decoders
Engram이 벡터 데이터베이스와 계층 간 메모리 주입으로 12계층 트랜스포머와 동등한 성능을 900K 파라미터 규모에서 구현
Engram: A new type of AI
Google DeepMind이 Perceiver IO를 HuggingFace Transformers에 추가해 텍스트, 이미지, 오디오, 비디오, 포인트 클라우드 등 모든 모달리티를 단일 아키텍처로 처리
Perceiver IO: a scalable, fully-attentional model that works on any modality
Vaswani et al.이 Attention is all you need 논문으로 제시한 Transformer 기반 Encoder-Decoder 아키텍처가 NLP의 표준 시퀀스-투-시퀀스 모델로 정착
Transformer-based Encoder-Decoder Models