GZip-Base64 조합을 통한 텍스트 채널 내 바이너리 데이터 전송 최적화

Context

HTTP 헤더 및 JSON 필드와 같은 텍스트 기반 프로토콜에서 raw binary 데이터 전송 시 발생하는 파싱 에러 및 데이터 오염 문제 해결 필요성 제기. 특히 AWS API Gateway 및 Lambda 환경에서 대용량 페이로드 전송 시 전송 효율과 데이터 무결성 보장이 핵심 요구사항으로 작용함.

Technical Solution

• 데이터 크기 감소를 위해 GZip 압축을 적용하여 JSON/XML 등 구조화된 데이터의 볼륨 최적화
• 압축된 Binary 데이터를 ASCII 64개 문자로 변환하는 Base64 Encoding을 통해 텍스트 채널 내 안전한 전송 보장
• GZip을 통한 데이터 압축 후 Base64로 인코딩하는 Sequential Pipeline 구조 설계
• AWS Lambda 응답 바디 임계값 초과 시 Base64-encoded compressed content 플래그를 활용한 클라이언트 제어
• Kafka 메시지 크기 제한 및 직렬화 효율화를 위해 GZip + Base64 인코딩 레이어 적용
• Base64 디코딩 후 GZip 압축 해제를 수행하는 역순 복구 프로세스 구축