Gzip·Brotli 압도, 학습형 슬라이딩 윈도우 기반 GN 압축 전략

Context

정적 딕셔너리 기반의 기존 압축 알고리즘은 특정 도메인의 반복 패턴 학습에 한계 존재. GN 초기 버전은 프레임마다 딕셔너리를 직렬화하여 전송하는 구조적 오버헤드 발생. 데이터 크기보다 딕셔너리 비용이 더 큰 역효과 초래.

Technical Solution

• ANS 엔트로피 코더 단독 사용의 한계 식별 및 LZ77 방식의 슬라이딩 윈도우 전처리 필요성 확인
• 프레임 내 전체 딕셔너리 포함 방식을 제거하고 버전 번호 기반의 공유 상태 참조 구조로 변경
• 개별 호출 단위 윈도우를 프로세스 전체가 공유하는 전역 Corpus Window 설계로 확장
• 새로운 청크 압축 전 유사한 과거 데이터를 먼저 처리하여 딕셔너리를 활성화하는 Retrieval-Warmed 전략 도입
• 도메인 데이터의 반복적 구조(Role markers, JSON pattern 등)를 실시간 학습하는 동적 딕셔너리 메커니즘 구현

Impact

• ShareGPT 코퍼스 기준 Brotli 대비 4.0% 성능 우위 확보
• LMSYS 코퍼스 기준 Brotli 대비 4.8% 성능 우위 확보
• WildChat 코퍼스 기준 Brotli 대비 0.5% 성능 우위 확보
• 모든 테스트 코퍼스에서 Gzip 대비 11~18% 향상된 압축률 기록
• 데이터 스트림 길이가 길어질수록 정적 압축기 대비 격차가 벌어지는 성능 특성 증명

Key Takeaway

정적 사전 기반의 범용 압축보다 데이터 스트림의 도메인 특성을 실시간으로 학습하는 동적 윈도우 설계가 고밀도 데이터 압축에 훨씬 효율적임.