피드로 돌아가기
Dev.toAI/ML
원문 읽기
On-Prem LLM과 Query Library 조합으로 5초 내 SQL 결과 제공
OpsMind: On-Prem AI for Manufacturing — No Cloud, No API Keys, No Budget
AI 요약
Context
수백 개의 테이블을 가진 SQL Server ERP 환경에서 IT 부서 의존적인 리포트 생성 방식의 병목 발생. 데이터 보안 요구사항으로 인해 Cloud AI 도입이 불가능한 제조 현장의 제약 조건 존재.
Technical Solution
- LangGraph 기반 6-Node State Graph 설계를 통한 단계적 쿼리 생성 및 검증 파이프라인 구축
- 80% 이상의 빈번한 질의를 처리하는 Pre-built Query Library 도입으로 LLM 의존도 제거 및 응답 속도 최적화
- 147개 전체 테이블 대신 도메인별 4~10개 테이블로 범위를 제한하는 Domain Scoping 적용을 통한 SQL 생성 정확도 향상
- SQL Injection 방지 및 Hallucination 억제를 위한 5단계 Safety Check Layer(Tautology, UNION, LIMIT 강제 등) 구현
- Model Context Protocol(MCP) 서버 기반의 데이터 액세스 계층 분리로 다양한 Agent 확장성 확보
- Read-only 자격 증명과 Local LLM(Gemma 3 12B) 배치를 통한 완전한 On-premises 데이터 격리 구현
실천 포인트
- 빈번한 질의 패턴을 분석하여 LLM 이전 단계에 Query Cache/Library 계층을 배치할 것 - LLM에 전달하는 Context Window를 최적화하기 위해 전체 Schema가 아닌 Domain-specific Schema만 제공할 것 - 생성된 SQL의 실행 전 Statement Type 제한 및 LIMIT 강제 적용 등 다단계 검증 로직을 구현할 것 - MCP와 같은 표준 프로토콜을 도입하여 AI 모델과 데이터 소스 간의 결합도를 낮출 것