Local LLM 기반 PR Review Bot 구현으로 코드 유출 없는 자동 리뷰 환경 구축

I Built a GitHub Bot That Reviews My Pull Requests Using a Local LLM

Shrestha Pandey2026년 5월 20일9분intermediate

AI 요약

Context

외부 서버로의 코드 전송에 따른 보안 리스크와 수동 코드 리뷰 과정의 휴먼 에러 발생 가능성 상존. 특히 Proprietary Codebase 환경에서 외부 LLM API 사용 시 데이터 프라이버시 보호가 핵심 제약 사항으로 작용.

GitHub App의 Short-lived Installation Token 방식을 채택하여 정적 키 노출 위험을 제거한 보안 인증 구조 설계
Webhook 기반 이벤트 트리거 및 REST API를 통한 Diff 추출로 실시간 PR 분석 파이프라인 구축
LLM Context Window 제한 및 추론 품질 저하 방지를 위해 Diff 데이터를 1,500자 단위로 분할하는 Chunking 로직 적용
Hallucination 억제를 위해 변경된 라인만 분석하고 전체 앱 설명을 금지하는 Explicit Prompting 전략 수립
Ollama를 활용한 Local Inference 환경을 구축하여 인프라 외부로의 데이터 유출을 원천 차단한 아키텍처 구현

실천 포인트

1. LLM Context Window 크기에 따른 최적의 Chunk Size(예: 1,500자) 설정 및 테스트

2. GitHub App 구현 시 JWT 기반 Installation Token 교환 프로세스 적용 여부 확인

3. LLM의 과잉 친절(Over-helpfulness) 방지를 위한 Negative Prompting 적용

4. 하드웨어 가속(GPU) 유무에 따른 추론 지연 시간(Latency) 측정 및 사용자 경험 설계

태그