Protobuf와 Karapace 도입을 통한 Kafka JSON 역직렬화 병목 해결

Context

고처리량 환경에서 UTF-8 기반 JSON 포맷 사용에 따른 데이터 크기 증가 및 CPU 오버헤드 발생. 특히 복잡한 Nested JSON 구조로 인한 Consumer Lag 심화와 Schema Drift로 인한 파이프라인 불안정성 노출.

Technical Solution

• Karapace Schema Registry 도입을 통한 Confluent Schema Registry의 Open-source 대체 및 Schema Governance 체계 구축
• Protobuf 기반 Binary Serialization 적용으로 텍스트 기반 JSON 대비 데이터 페이로드 최적화 및 역직렬화 속도 향상
• TopicNameStrategy 기반의 Schema 버전 관리 체계를 구축하여 Producer-Consumer 간의 Loosely Coupled 연결 유지
• Compiled Classes 활용을 통해 런타임 시 데이터 타입 검증 단계를 최소화하고 타입 안정성 확보
• SCRAM 및 Basic Auth 적용을 통한 Schema Registry 접근 제어 및 보안 레이어 강화