LLM 컨텍스트 93% 절감을 위한 로그 노이즈 필터링 최적화

Context

ML 프로젝트의 pip install 과정에서 발생하는 대량의 휠 빌드 로그와 다운로드 진행 상태가 LLM의 Context Window를 불필요하게 점유함. 실제 디버깅에 필요한 성공/실패 여부 외의 무의미한 텍스트 데이터가 토큰 낭비와 분석 효율 저하를 초래하는 구조적 한계 존재.

Technical Solution

• LLM 입력 전 단계에서 무의미한 로그 데이터를 제거하는 Pre-processing 계층 도입
• 성공 시 다운로드 진행 바 및 해시 체크섬 등 반복적 패턴의 정규표현식 기반 스트리핑 처리
• 에러 발생 시 핵심 스택 트레이스와 ERROR 메시지만을 보존하는 선택적 필터링 로직 적용
• 단순 텍스트 삭제가 아닌 성공/실패 상태 값(State)을 유지하는 상태 보존형 압축 설계
• 셸 명령어 체인에 통합 가능한 CLI 도구 형태로 구현하여 파이프라인 자동화 지원