전용 API 도입으로 PR 요약 Latency 5s에서 500ms로 단축

Context

반복적인 Pull Request 작성 공수를 줄이기 위해 AI 기반 자동화 파이프라인 구축 시도. 범용 LLM API의 높은 비용과 Latency, 로컬 모델의 하드웨어 제약으로 인한 성능 저하라는 기술적 병목 발생.

Technical Solution

• GPT-4 API 기반의 단순 Prompt Engineering으로 초기 PoC 구현 및 정확도 검증
• Local LLM(CodeLlama 7B) 도입을 통한 Data Privacy 확보 및 비용 제거 시도
• 8GB RAM 환경의 리소스 제약으로 인한 30s 이상의 Latency 및 Hallucination 발생 확인
• 코드 특화 Fine-tuned 모델 기반의 전용 API(/summarize endpoint)로 아키텍처 전환
• Plain Text 대신 Structured JSON 출력을 통해 변경 사항, 영향도, 테스트 케이스를 구분하는 자동화 구조 설계
• AI 단독 생성이 아닌 인간의 초안 작성 후 AI가 누락분을 보완하는 Hybrid Workflow 채택