피드로 돌아가기
Dev.toDevOps
원문 읽기
14단계 파이프라인 기반의 Local-first LLM 코드 리뷰 CLI 설계
I built a local-first LLM code reviewer in Go. Here's the entire pipeline.
AI 요약
Context
코드 리뷰 과정에서 LLM 활용 시 발생하는 데이터 유출 위험과 불필요한 토큰 비용 지출 문제를 해결해야 하는 상황. 단순 LLM API 호출을 넘어 보안, 비용, 재현성을 보장하는 로컬 중심의 전처리 아키텍처가 필요함.
Technical Solution
- go-git과 git CLI를 혼합한 Hybrid 접근법을 통한 Worktree 상태의 정확성 확보 및 소스 오브 트루스 유지
- Built-in, .commitbriefignore, Semantic prose의 3계층 필터링 구조를 통한 노이즈 제거 및 토큰 비용 최적화
- API 전송 전 Secret Scanner를 통한 민감 정보 탐지 및 매칭된 부분의 로깅을 배제한 보안 강화 설계
- 입력 값의 SHA-256 해시 기반 Content-addressed Caching을 적용하여 중복 호출 방지 및 응답 속도 개선
- 4개의 XML 블록과 Immutability Guard를 포함한 구조화된 Prompt 설계를 통한 Prompt Injection 방어 및 출력 일관성 확보
- JSON 파싱 실패 시 Raw Markdown으로 자동 전환되는 Graceful Degradation 전략으로 시스템 안정성 유지
실천 포인트
- LLM API 호출 전 단계에 입력 데이터의 해시 기반 캐시 계층을 두어 비용과 지연 시간 최적화 - 외부 API 전송 직전 단계에 전용 Secret Scanning 가드를 배치하여 데이터 유출 사고 원천 차단 - 라이브러리 구현체(go-git)와 실제 CLI(git) 간의 동작 차이를 인정하고 하이브리드 폴백 전략 채택 - LLM의 비결정적 응답에 대비하여 정형 데이터 파싱 실패 시의 대체 렌더링 경로 설계