QLoRA 기반 7B LLM 튜닝 및 14GB 모델 배포의 인프라 제약 분석
Fine-tuned 7B LLM as a broke student. And Can't even use it 😭.
Continuous Batching 기반 GPU 처리량 4배 향상 및 비동기 Job 아키텍처 설계
Designing GenAI Infrastructure: How to Scale Video Generation
Google이 TPU v5e 2x4와 Keras 모델 샤딩으로 7개 LLM을 동시 로드하여 LLM의 실시간 오류 수정 능력을 평가하는 대화형 테스트 환경 구축
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs