NATS 2.10 도입을 통한 Edge 메시징 지연시간 11배 감소 및 메모리 94% 절감

Context

JVM 기반의 Kafka 3.6 아키텍처가 2GB 이상의 Heap 메모리와 ZooKeeper/KRaft 의존성으로 인해 리소스 제한적인 Edge 환경에서 오버헤드 발생. 특히 불안정한 네트워크 연결성과 저사양 하드웨어 제약으로 인한 운용 효율성 저하 및 비용 상승 문제 직면.

Technical Solution

• Go 언어 기반의 단일 Binary 구조 채택을 통한 JVM 및 외부 의존성 완전 제거
• Native Leaf Node 설계를 통한 Edge-to-Center 간 자동 동기화 및 로컬 디스크 버퍼링 구현
• 32-bit ARM/x86 바이너리 지원을 통한 Legacy 하드웨어 호환성 확보
• Append-only log 기반의 JetStream 도입으로 Kafka 수준의 내구성과 데이터 보존 기능 제공
• 내장 MQTT Adapter 적용을 통한 IoT 프로토콜 전환 오버헤드 최소화
• 단순화된 단일 설정 파일 구조를 통한 운영 복잡도 및 유지보수 공수 감소

Impact

• p99 Publish Latency: Kafka 132ms 대비 NATS 12ms로 약 11배 개선
• 리소스 사용량: 100개 노드 기준 메모리 180GB에서 4.2GB로 42배, CPU 42vCPU에서 3vCPU로 14배 절감
• 인프라 비용: AWS IoT Core 기준 월 $6,800에서 $420로 약 94% 비용 감축
• 복구 성능: MirrorMaker 2.0 대비 재연결 시간 80ms 및 데이터 동기화 속도 대폭 향상

Key Takeaway

중앙 집중형 데이터 파이프라인을 위한 고처리량 설계(Kafka)와 리소스 제약 및 네트워크 단절이 빈번한 Edge 환경을 위한 경량 설계(NATS)의 Trade-off를 명확히 구분하여 기술 스택을 선정해야 함