FUTO Swipe: 공개형 스와이프 입력 모델
250만 파라미터 소형 모델로 구현한 온디바이스 스와이프 입력 시스템
OpenAI, 검증 도구와 함께 AI 이미지에 Google의 SynthID 워터마크 도입
SynthID 기반 136-bit 페이로드 임베딩과 강건성 확보 전략
Transformer 기반 Next-token Prediction을 통한 범용 언어 생성 아키텍처 구현
How Large Language Models Work — From Transformers to Conversational AI
Fixed-size Vector 압축 한계를 극복한 Attention 기반 Dynamic Context 참조 설계
Attention Mechanisms: Stop Compressing, Start Looking Back
Attention 메커니즘을 통한 Decoder의 문맥 파악 및 디코딩 최적화
Understanding Attention Mechanisms – Part 6: Final Step in Decoding
Attention 메커니즘에서 Cosine Similarity 계산을 Dot Product로 단순화하여 분모 제거로 연산 복잡도 감소
Understanding Attention Mechanisms – Part 3: From Cosine Similarity to Dot Product
Vaswani et al.이 Attention is all you need 논문으로 제시한 Transformer 기반 Encoder-Decoder 아키텍처가 NLP의 표준 시퀀스-투-시퀀스 모델로 정착
Transformer-based Encoder-Decoder Models