OpenSearch Scale-to-Zero 및 SLM 스키마 제약의 정확도 저하 분석

Context

기존 OpenSearch Serverless의 고정 최소 용량 예약제로 인한 유휴 비용 발생 및 프로토타입 구축의 경제적 진입 장벽 존재. 또한 SLM(Small Language Models) 적용 시 출력 구조 강제를 위한 Schema Constraint 도입이 모델의 추론 능력을 저해하는 현상 발생.

Technical Solution

• Compute 모델을 Stateless 구조로 변경하여 Storage와 완전히 분리한 OpenSearch Serverless NextGen 설계
• Active Query 기반 과금 체계 도입을 통한 Scale-to-Zero 구현 및 프로비저닝 속도 최적화
• uv audit의 Lockfile Graph 기반 인덱스 룩업 방식을 통한 의존성 취약점 스캔 프로세스 단축
• Snyk Remediation Agent의 Security Intelligence 레이어 추가를 통한 LLM의 Context 기반 수정 제안 생성
• SLM의 추론 자유도 보장을 위해 디코딩 후반부에 구조적 제약을 적용하는 Delayed Constraint Packaging 전략 제안

Impact

• OpenSearch 프로비저닝 속도 20배 향상 및 유휴 비용 제거
• uv audit의 취약점 스캔 속도 pip-audit 대비 4~10배 개선
• Snyk SCA 수정률 94% 달성 및 Token 소모량 61% 절감
• 3B 미만 SLM의 Schema Constraint 적용 시 정답 정확도 19.7%에서 11.0%로 하락

Key Takeaway

인프라의 Stateless 전환을 통한 비용 최적화와 AI 모델의 제약 조건 설정 시 발생하는 Semantic Accuracy 저하 사이의 Trade-off를 이해하고, 정량적 지표 기반의 독립적 검증 체계 구축이 필수적임.