Transformer 기반 고차원 Embedding 및 Attention 메커니즘을 통한 문맥 추론
How ChatGPT/Gemini/MS Copilot Understands Your Question: A Step-by-Step Journey from Input to Response
Transformer 기반 Next-token Prediction을 통한 범용 언어 생성 아키텍처 구현
How Large Language Models Work — From Transformers to Conversational AI
Autoregressive Generation 구조로 인한 Output 비용 4배 증가 및 KV Cache 최적화
Part 8 — Token-by-Token: Why AI Generates Text One Word at a Time (And Why It Costs 4x More)
메타 인지 로직 주입을 통한 아이디어 자동 필터링 엔진 EvoRadar 구축
My Self-Evolving AI Engine Generates Startup Ideas — Then Kills Most of Them
SubQ: Sparse Attention 기반 12M 토큰 처리 및 비용 80% 절감
SubQ Model: Can Subquadratic Make Long-Context AI More Efficient?
DeepSeek-V4-Flash 524k Context에서 85 tok/s 달성 및 CUDA-first 런타임 구현
DeepSeek-V4-Flash Benchmarks, FlashRT CUDA Runtime, & V100 LLM Performance
Feature Engineering에서 Representation Learning으로의 패러다임 전환
What Deep Learning Really Means — From Neural Networks to Modern AI
12M 토큰 기준 Attention 연산량을 1,000배 절감한 Linear Scaling 아키텍처
1,000x Claim, No Independent Proof: Subquadratic Architecture
BPE Tokenization과 Transformer 기반 Next Token Prediction의 메커니즘 분석
How AI Works Under the Hood: LLMs Explained with Code
LLM 스크래치 학습의 비용 분석: 1B 모델 구축 시 $427 소요 및 낮은 효용성 확인
I Trained My Own LLM from Scratch in 2025: What That Viral HN Tutorial Doesn't Tell You About the Real Cost
LLM 바닥부터 학습 시 1B 모델 기준 최소 $427 비용 및 29일 소요
Entrené mi propio LLM desde cero en 2025: lo que el tutorial viral de HN no te dice sobre el costo real
10M 파라미터 GPT 모델을 노트북 환경에서 1시간 내 구현
Train Your Own LLM from Scratch
Token ID의 고차원 Vector 변환을 통한 Semantic Similarity 구현
Part 2: Vector Embeddings in simplest terms
Fully Connected Layer와 Softmax를 통한 Transformer 출력 토큰 결정 구조
Understanding Transformers Part 17: Generating the Output Word
16MB 제한 내 bpb 1.0810 달성을 위한 초소형 LLM 최적화 설계
What is OpenAI's Parameter Golf Challenge, and why I spent a month on it
BART-base 기반 Embedding과 Cosine Similarity를 통한 시맨틱 유사도 구현
Understanding Text Similarity with Embeddings and Cosine Similarity
KV Caching과 MMHA 구조를 통한 Decoder-only LLM 추론 최적화
LLM Study Diary #1: Transformer
NanoChat JAX 포팅을 통한 TPU 가속 및 Scaling Law 분석 환경 구축
I Rebuilt Karpathy's NanoChat in JAX. Here's What XLA Gets Right and What It Gets Dead Wrong.
C언어 기반 순수 구현으로 Transformer 내부 동작을 완전히 제어한 TRiP 엔진
Show HN: TRiP – a complete transformer engine in C built from scratch just by me
Residual Connection을 통한 Encoder-Decoder Attention 최적화
Understanding Transformers – Part 16: Preparing for Output Prediction with Residual Connections