AI 불확실성 제거를 위한 Deterministic-AI Hybrid 스코어링 설계

Context

GitHub PR 우선순위 정렬을 위해 LLM 기반 Risk Score 도입을 검토함. AI의 비결정적 특성으로 인한 스코어 일관성 결여와 토큰 비용 발생, 그리고 잘못된 점수로 인한 중요 PR 누락 가능성이 주요 제약 사항으로 식별됨.

Technical Solution

• CI status와 PR age를 기반으로 한 Deterministic Signal을 최우선순위 층(Floor)으로 설계
• CI 실패 건을 AI 점수와 무관하게 최상단에 배치하는 하드코딩 룰 적용
• 동일 조건 내 우선순위 결정 시 AI Risk Score를 Tiebreaker로 활용하는 계층적 정렬 구조 채택
• LLM 의존도를 낮춰 토큰 비용을 절감하고 시스템 예측 가능성을 확보한 하이브리드 모델 구축