피드로 돌아가기
Dev.toAI/ML
원문 읽기
Local LLM 파이프라인의 OOM 장애를 통한 Concurrent Consumer 설계 오류 분석
Three Loops, No Ship
AI 요약
Context
Azure DevOps 티켓 자동 수정을 위한 Local Model 기반의 Auto-fix 파이프라인 구축 시도. 단순 스크립트에서 고도화된 에이전트 구조로 확장했으나, 로컬 리소스 제약과 동시성 제어 부재로 인한 시스템 불안정성 노출.
Technical Solution
- Poll-Triage-Fix-Push 구조의 기본 워크플로우 설계를 통한 단순 티켓 처리 자동화
- 컨텍스트 손실 방지를 위해 관련 파일 사전 선택 및 대형 티켓의 Atomic Subtasks 분할 처리 도입
- 중복 제거를 위한 Embeddings 적용 및 Multi-repo Routing을 통한 경로 최적화
- 실패 사례를 피드백 루프로 통합하여 후속 실행에 반영하는 Learning Loop 구축
- OOM 발생 시 Retry Loop가 상호 증폭되는 현상을 방지하기 위해 Consumer 접근 제어의 Serialization 적용
- npx 실행 방식에서 Local Binary 직접 실행 방식으로 변경하여 오버헤드 감소
실천 포인트
1. OOM(Out of Memory) 발생 시 무조건적인 Retry를 금지하고 즉시 중단하는 서킷 브레이커 검토
2. Local Model 서버 접근 시 Concurrent Consumer 간의 Serialized Access 보장
3. 런타임 오버헤드 최소화를 위해 npx 대신 Local Binary 직접 호출 방식 채택
4. 작업 규모에 따라 Cheap Model(분류/분석)과 Big Model(수정/편집)을 분리하는 계층형 아키텍처 고려