TensorRT 가속과 LoRA 동적 적용을 양립시킨 최적화 엔진 설계

Context

PyTorch 기반의 표준 추론 방식은 유연하지만 TensorRT 대비 연산 속도가 낮음. 기존 TensorRT 구현체는 모델 고정(Static) 특성으로 인해 LoRA와 같은 동적 가중치 적용이 불가능한 구조적 한계 존재.

Technical Solution

• .safetensors 모델을 TensorRT Engine으로 변환하는 Exporter-Loader 구조 설계
• TensorRT의 Static Shape 제약을 해결하기 위한 Resolution Range 및 Batch Size 사전 정의 방식 채택
• LoRA 지원을 위해 엔진 데이터와 가중치 맵을 결합한 커스텀 .bundle 파일 포맷 정의
• ID 기반 청크 구조(ID-Size-Data)를 통한 TensorRT Engine, ONNX Model, WeightsMap의 효율적 직렬화
• 파일 끝단(EOF)에서 역방향으로 메타데이터 크기를 읽어 데이터를 파싱하는 역방향 탐색 로직 구현
• 엔진 실행 단계에서 WeightsMap을 참조하여 LoRA 가중치를 동적으로 바인딩하는 래퍼 구조 설계