Memory Load 최적화를 위한 Ruby Stream 기반 대용량 파일 압축 설계

Context

File.read 메서드를 통한 파일 처리 시 모든 바이트를 메모리에 로드하는 구조적 한계 존재. 대용량 파일 처리 시 Memory Consumption 급증으로 인한 시스템 불안정성 유발 가능성 확인.

Technical Solution

• IO 클래스의 Stream Operation을 활용한 데이터 처리 방식 전환
• File.read 대신 File.new와 gets 메서드를 조합한 Chunk 단위 읽기 구현
• Zip::File의 get_output_stream을 통한 데이터 파이프라인 연결
• while !input.eof? 루프를 통한 메모리 점유율 최소화 처리
• 대용량 파일 및 다수 파일 처리 시 Memory Overflow 방지를 위한 전략적 접근