구조적 중복 제거를 통한 tar+zstd 대비 최대 7.2% 압축률 향상

Context

기존의 tar+zstd 파이프라인은 디렉토리 트리를 단순 Byte Stream으로 평탄화한 뒤 압축을 수행하는 구조임. 이 과정에서 소스 코드 레포지토리가 가진 파일 간 중복 라이선스, 보일러플레이트 등 고수준의 구조적/의미적 중복 정보가 손실되는 한계가 존재함.

Technical Solution

• Byte Stream 변환 전 단계에서 소스 트리 자체를 분석하는 Metacompression 레이어 도입
• 전체 파일 트리를 스캔하여 전역적 파일 중복 제거(Global File Deduplication) 수행
• 반복되는 JSON 구조 및 예측 가능한 패턴을 식별하는 의미적 정규화(Semantic Normalization) 적용
• 분석된 카탈로그와 Blob 데이터를 분리하여 저장한 후 최종 단계에서 zstd 압축을 적용하는 구조 설계
• BLAKE3 해싱과 병렬 스캔을 통한 데이터 처리 병목 제거 및 처리 속도 최적화
• 파일 트리 순회와 동시성 제어에 최적화된 Go 언어를 통한 런타임 효율성 확보

Impact

• Kubernetes 레포지토리 기준 81.1M에서 75.3M으로 압축 크기 7.2% 감소
• React(6.4%), Redis(5.6%), NumPy(3.8%) 등 테스트 대상 모든 소스 코드 레포지토리에서 압축 효율 개선
• 병렬 처리 및 경량 변환 로직 적용을 통한 tar+zstd 대비 콜드 캐시 벤치마크 속도 향상

Key Takeaway

데이터를 단순한 바이트의 나열로 보기보다 입력 데이터의 도메인 특성(소스 코드의 구조적 중복)을 먼저 분석하여 전처리하는 것이 최종 압축 효율을 결정짓는 핵심 설계 원칙임.