WebSocket 기반 In-memory 캐싱으로 모델 학습 중 Zero Latency 실시간 하이퍼파라미터 튜닝 구현

Context

정적 YAML 파일이나 환경 변수 기반 설정은 변경 시 프로세스 재시작 및 학습 상태 손실을 초래하는 한계 존재. Redis나 S3를 통한 폴링 방식은 학습 루프의 Hot Path 내 네트워크 I/O 오버헤드로 인해 GPU 가동률을 저하시키는 병목 지점으로 작용.

Technical Solution

• WebSocket 기반의 영구 연결을 통해 서버에서 클라이언트로 Delta-only 패치를 전송하는 Push 모델 채택
• SDK 내부의 In-memory 캐시 트리를 통해 설정값 읽기 작업을 O(1) 복잡도의 로컬 딕셔너리 조회로 처리
• 설정값 업데이트를 비동기 백그라운드 워커에서 수행하여 메인 학습 스레드의 Blocking I/O 완전 제거
• 전체 설정 파일 재로드 대신 변경된 노드만 부분 업데이트하는 Delta Patching 기법으로 네트워크 트래픽 최소화
• .get() 메서드를 통한 로컬 메모리 읽기 구조 설계로 네트워크 RTT가 학습 루프 성능에 영향을 주지 않는 구조 구현