H100 기준 1,100 TPS 달성한 Diffusion 기반 텍스트 생성 아키텍처

Context

기존 Autoregressive 모델의 순차적 토큰 생성 방식으로 인한 Memory Bandwidth 병목 현상 발생. 특히 실시간 응답성이 중요한 서비스에서 추론 속도와 비용 효율성 개선에 한계 직면.

Technical Solution

• Discrete Diffusion 기법 도입을 통한 256개 토큰 블록 단위의 병렬 정제 구조 설계
• Bidirectional Attention 적용으로 토큰 N 생성 시 N+1부터 N+256까지의 컨텍스트를 동시에 참조하는 자가 수정 메커니즘 구현
• Entropy Confidence Threshold 기반의 Adaptive Stopping 로직을 통한 조기 커밋 및 추론 단계 최적화
• Mixture of Experts(MoE) 구조를 채택하여 전체 26B 파라미터 중 추론 시 3.8B의 Active Parameter만 사용하는 연산 효율화
• Decode 병목 지점을 Memory Bandwidth에서 Compute 영역으로 전이시켜 하드웨어 자원 활용도 극대화

Impact

• H100 단일 GPU 기준 1,100+ tokens/sec 달성으로 기존 대비 최대 4배의 Throughput 개선
• Quantized 모델 기준 18 GB VRAM 요구량으로 RTX 4090/5090 등 단일 Consumer GPU 배포 가능
• MMLU Pro(77.6%) 및 AIME 2026(69.1%) 지표에서 Autoregressive 모델 대비 정확도 Trade-off 발생

Key Takeaway

최고 수준의 정확도보다 추론 지연 시간(Latency)과 처리량(Throughput)이 우선되는 도메인에서는 생성 패러다임을 순차적 예측에서 반복적 정제(Iterative Refinement) 구조로 전환하는 설계 전략이 유효함.