비동기 Batch Pipeline을 통한 GPU 효율 극대화 및 Memory Consolidation 설계

Context

실시간 Inference 시 Response Speed와 Throughput 사이의 상충 관계로 인한 GPU 자원 저하 발생. 특히 사용자 인터랙티브 수준인 50 tokens/sec 유지 시 하드웨어 활용률이 낮아지는 병목 지점 존재.

Technical Solution

• 지연 시간에 민감하지 않은 Memory Consolidation 작업을 비동기 Pipeline으로 분리한 설계
• 사용량 저점 시간대에 수천 명의 작업을 통합 처리하는 High Batch Size 적용으로 Throughput 극대화
• 과거 세션 Transcript와 기존 Memory Store를 대조하여 중복 제거 및 모순 해결을 수행하는 비동기 로직 구현
• 4,096자 규모의 Instructions 필드를 System Prompt로 활용해 Consolidation 방향성을 제어하는 구조
• 단순한 Retrieval을 넘어 최종적으로 모델 Weight를 직접 수정하는 Parametric Dreaming을 위한 기반 인프라 구축
• 입력 데이터는 유지하고 새로운 Memory Store를 생성하는 Immutable Output 구조 채택