Local-First AI 패턴을 통한 API 비용 75% 절감 및 처리 시간 55% 단축

Context

모든 문서를 Cloud AI 엔드포인트로 전송하는 기존 방식의 높은 비용과 처리 지연 발생. Cloud-only 구조에서 발생하는 Silent Hallucination 위험 및 불필요한 API 호출로 인한 리소스 낭비가 주요 병목 지점으로 작용.

Technical Solution

• Deterministic Local Extraction을 최우선 배치하여 70~80%의 정형 문서를 제로 비용으로 즉시 처리하는 Tier 1 설계
• Spatial, Anchor, Format, Context 기준의 Composite Scoring Function을 통한 고정밀 라우팅 로직 구현
• Tier 1 실패 시 GPT-4 Vision 기반의 Cloud AI Inference로 전환하여 비정형/스캔 문서의 시각적 해석을 수행하는 Tier 2 구성
• Tier 1과 Tier 2의 결과 충돌 또는 저신뢰도 출력 발생 시 Human Review Queue로 전달하여 최종 에러율을 제한하는 Tier 3 배치
• 단순 벤치마크가 아닌 Task-specific Validation Set 기반의 모델 평가를 통해 불필요한 GPT-5+ 마이그레이션 배제
• Error Class별 5차례 Iteration을 통한 프롬프트 엔지니어링으로 추출 정확도를 89%에서 98%로 상향