LLM 병렬 요청 처리를 통한 응답 속도 최대 5배 개선

Context

LLM의 Autoregressive Decoding 특성으로 인해 출력 토큰 수에 비례하여 Latency가 선형적으로 증가하는 구조적 한계 존재. 독립적인 다수 질문을 단일 요청으로 묶어 처리할 경우 모든 응답이 순차적으로 생성되어 전체 처리 시간이 비대해지는 병목 현상 발생.

Technical Solution

• 단일 요청의 Sequential Generation 구조를 다수 요청의 Parallel Inference 체제로 전환하여 Latency 최적화
• 서버 사이드의 Continuous Batching 메커니즘을 활용하여 여러 요청의 토큰을 GPU Matrix Operation으로 일괄 처리
• Prefill 단계에서 입력 길이를 분산시켜 개별 요청의 초기 처리 시간을 단축하고 동시성 확보
• 독립적 Context 격리를 통해 Attention Dilution 및 Lost in the Middle 현상을 방지하여 답변 품질 유지
• 요청 분할을 통한 Decode 단계의 병렬화를 구현하여 전체 Latency를 가장 느린 개별 요청의 시간으로 수렴시킴