피드로 돌아가기
Dev.toDevOps
원문 읽기
Python ML 환경 중복 제거를 통한 디스크 공간 10~50GB 확보
Don't Let Conda Eat Your Hard Drive: Python Environment Cleanup for Mac
AI 요약
Context
Python의 Isolation 기반 환경 모델로 인한 패키지 중복 설치 및 스토리지 낭비 발생. 특히 ML 프레임워크의 거대 용량으로 인해 프로젝트별 독립 환경 구축 시 디스크 사용량이 기하급수적으로 증가하는 구조적 한계 노출.
Technical Solution
- Conda Env 관리:
conda env list를 통한 미사용 환경 식별 및conda env remove를 이용한 물리적 삭제 수행 - Package Cache 최적화:
conda clean --all명령으로 링크되지 않은 패키지 tarball 및 Index cache 제거 - Pip Cache 정제:
pip cache purge를 통한 Wheel 및 sdist 로컬 캐시 삭제로 중복 데이터 제거 - 가상 환경 파편화 해결: 프로젝트 내 산재한
.venv및__pycache__디렉토리를find명령으로 탐색 후 일괄 삭제 - 버전 관리 도구 정비:
pyenv uninstall을 통해 불필요한 Python Runtime 버전 제거 및uv,Poetry전용 캐시 클리닝 수행
Impact
- 전체 디스크 공간 10~50GB 이상의 가용 용량 확보
- 개별 ML 환경당 2~8GB, Conda Package Cache 2~10GB, Pip Cache 0.5~5GB의 공간 회수
실천 포인트
- 분기별로 `conda env list`를 통해 미사용 환경 삭제 주기 설정 - ML 프레임워크(PyTorch, TensorFlow) 설치 환경의 개수 및 용량 상시 모니터링 - `conda clean --all` 및 `pip cache purge`를 통한 정기적 캐시 최적화 수행 - 프로젝트 종료 시 `.venv` 및 캐시 디렉토리 삭제 프로세스 내재화