Spanner 7.5B QPS 달성 및 Proxy Model 통한 LLM 지연시간 100배 단축

Context

정밀한 SQL 쿼리 중심의 기존 데이터 플랫폼은 자연어 기반의 유연한 질문 처리와 비정형 데이터 통합에 한계 노출. 특히 LLM 기반 쿼리 생성 시 발생하는 높은 Token 비용과 추론 지연시간이 실시간 운영 데이터베이스 적용의 병목 지점으로 작용.

Technical Solution

• 정형/비정형 데이터 통합 및 유연한 응답 제공을 위한 Vector Indexing 및 Graph 기술 기반 AI Native Infrastructure 설계
• LLM 호출 비용 절감을 위해 데이터 샘플로 즉석 학습되는 경량 Proxy Model을 DB 내부에 배치한 계층적 추론 구조 도입
• AI.IF 등 자연어 조건 평가 함수를 Spanner, AlloyDB, BigQuery 엔진에 내장하여 SQL 내 LLM 추론 로직 직접 결합
• LLM 생성 쿼리의 신뢰성 확보를 위해 대표 질문-정답 쌍으로 구성된 Eval Set 기반의 반복적 Blueprint 최적화 프로세스 구축
• Knowledge Catalog를 통한 전사적 컨텍스트 통합으로 LLM Hallucination 억제 및 답변 정확도 향상