Index-free Agentic Search와 Memory Defrag 기반의 지식 주입 시스템 설계
Presentation: What I Learned Building Multi-Agent Systems From Scratch
JavaScript `new` 키워드의 Prototype 기반 객체 생성 메커니즘 분석
The `new` Keyword in JavaScript
Internal Face Culling을 통한 렌더링 삼각형 수 95% 이상 절감
How I've optimized chunk generation in my Minecraft clone
PEP 661 – 센티널 값, 5년 뒤 승인됨
PEP 661을 통한 Python 전용 Sentinel 타입 표준화 및 타입 힌팅 체계 구축
ActiveRecord 객체 생성 오버헤드 제거를 통한 메모리 최적화
[PT-BR] pluck vs. select
KV Cache 압축을 통한 70B 모델의 8GB RAM 구동 실현
KVQuant: Run 70B LLMs on 8GB RAM with Real-Time KV Cache Compression
FrozenDictionary를 Array 기반 O(1) 조회 구조로 개선한 Zero-allocation 설계
I shipped a NuGet package, then rewrote it completely. Here's why.
chrome.tabs.discard() API 활용 기반의 저전력/고안정성 Tab Suspender 설계
I built an open source tab suspender after The Great Suspender got removed for malware
기존 KV 압축 기법 대비 최대 25% 추가 절감, 성능은 오히려 개선 — CASK
Role-based KV Cache 구조 설계를 통한 메모리 25% 추가 절감 및 추론 성능 향상
Redis 호환성 유지하며 현대적 하드웨어에 최적화한 Valkey Hashtable 재설계
Presentation: When Every Bit Counts: How Valkey Rebuilt Its Hashtable for Modern Hardware
TurboQuant은 KV 캐시의 숫자를 구조화된 scale과 code로 변환하여 메모리 사용량을 6배 절감하면서도 attention 순서를 보존한다.
How TurboQuant Works for LLMs and Why It Uses Much Less RAM
Krust가 Rust + Swift 아키텍처로 Kubernetes IDE 메모리 사용량을 1.5GB에서 200MB로 87% 감축
I Built a Kubernetes IDE in Rust + Swift Because Lens Was Eating My RAM
Hugging Face Diffusers 팀이 QLoRA + 8-bit AdamW + Gradient Checkpointing 조합으로 FLUX.1-dev 파인튜닝 시 피크 VRAM을 10GB 이하로 제한
(LoRA) Fine-Tuning FLUX.1-dev on Consumer Hardware
PyTorch 개발자들이 torch.cuda.memory._record_memory_history()와 메모리 시각화 도구로 GPU 메모리 할당·해제 과정을 추적하고 최적화 기준점 확보
Visualize and understand GPU memory in PyTorch
Hugging Face가 Transformer 기반 확산 모델에 Quanto 양자화를 적용해 SD3의 GPU 메모리 사용량을 18.765GB에서 8.2GB로 55% 감소
Memory-efficient Diffusion Transformers with Quanto and Diffusers
Hugging Face Diffusers가 Stable Diffusion 3 Medium을 통합하며 MMDiT 아키텍처와 Rectified Flow Matching으로 텍스트-이미지 생성 파이프라인 제공
Diffusers welcomes Stable Diffusion 3
Hugging Face가 KV Cache Quantization을 도입해 장문 생성 시 메모리 사용량을 유의미하게 절감하면서 모델 정확도 유지
Unlocking Longer Generation with Key-Value Cache Quantization
GaLore가 그래디언트의 저랭크 구조를 투영하여 옵티마이저 상태 메모리를 82.5% 감소시키고 소비자용 GPU에서 70억 파라미터 모델 학습 가능
GaLore: Advancing Large Model Training on Consumer-grade Hardware
Hugging Face Diffusers 라이브러리가 메모리 최적화 기법을 조합해 40GB 모델(IF)을 15GB VRAM 프리 티어 Google Colab에서 실행 가능하게 함
Running IF with 🧨 diffusers on a Free Tier Google Colab
Hugging Face의 TRL과 PEFT 통합으로 20B 파라미터 LLM을 24GB 소비자용 GPU에서 RLHF 파인튜닝 가능하게 구현
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU