LLM의 SQL 추측 방지, Schema Fine-Tuning으로 구현하는 정확한 데이터 분석

Context

Generic LLM은 일반적인 SQL 문법은 숙지하나 특정 기업의 고유한 Schema 정보는 부재함. 테이블명과 컬럼명을 임의로 추측하여 실행 불가능한 쿼리를 생성하는 한계 발생. 프롬프트 힌트 추가 방식은 유지보수가 어렵고 결과가 불안정한 구조적 문제 노출.

Technical Solution

• Pre-trained LLM에 실제 DB Schema와 매칭되는 SQL 쿼리 쌍을 학습시키는 Fine-Tuning 전략 채택
• 수백 개의 정제된 실제 쿼리 예시를 학습 데이터로 활용하여 도메인 특화 SQL 생성 능력 강화
• HuggingFace transformers 라이브러리와 Mistral-7B 모델 기반의 오픈 소스 학습 파이프라인 구축
• 단순 성공 사례 외에 Join, NULL 처리, 복잡한 날짜 필터 등 Edge Case를 포함한 데이터셋 구성
• Schema 변경 사항을 반영하기 위해 월간 또는 분기별 모델 재학습 루틴 설계
• 단순 암기 방지를 위해 질문의 표현을 다양화하고 유의어를 섞어 모델의 일반화 성능 확보

Key Takeaway

AI의 범용적 지식과 실제 인프라 간의 간극을 메우기 위해서는 도메인 데이터 기반의 정렬 과정이 필수적임. 데이터셋의 다양성과 지속적인 업데이트 체계가 모델의 실무 신뢰도를 결정하는 핵심 설계 원칙임.