Async-first 설계로 AI 추론 병목을 해결하는 FastAPI 중심 백엔드 전략

Context

LLM 응답의 Token-by-token 스트리밍과 2~20초에 달하는 긴 추론 시간으로 인해 기존 Synchronous 기반 프레임워크의 Thread-per-request 모델에서 심각한 Throughput 저하 발생.

Technical Solution

• ASGI 기반 Starlette 엔진 채택을 통한 비동기 Event Loop 활용 및 동시성 제어 효율 극대화
• Pydantic 모델 기반의 강타입 Request/Response Validation을 통한 데이터 무결성 확보 및 보안 감사 효율 향상
• StreamingResponse와 Server-Sent Events(SSE) 구현으로 LLM의 청크 단위 데이터 전송 최적화
• Async I/O 기반의 외부 Inference API 호출 구조 설계를 통한 I/O Wait 시간 동안의 CPU 자원 회수
• 서비스 복잡도에 따라 Django(User Management)와 FastAPI(Inference)를 분리하는 하이브리드 아키텍처 구성
• 단순 Wrapper 서비스의 경우 오버헤드 최소화를 위해 Flask 기반의 경량 Sync 구조 유지