Hybrid ML-LLM 파이프라인을 통한 서포트 티켓 분류 및 응답 자동화

Integrating LLM with Other Machine Learning Models

shashank ms2026년 6월 18일4분intermediate

AI 요약

Context

단순 LLM 기반 처리의 높은 비용과 예측 불가능한 응답 품질을 해결하기 위해 전통적 ML과 LLM의 결합 필요성 대두. 대규모 티켓 처리 시 발생하는 분류 병목과 문맥 유지 문제를 동시에 해결해야 하는 상황.

BGE-Large 모델 기반의 Embedding 추출을 통한 텍스트 데이터의 벡터화 및 표준 Feature Vector 확보
추출된 벡터를 학습 데이터로 활용한 Local Random Forest Classifier 구축으로 고속의 Priority 예측 구현
Cosine Similarity 기반의 Vector Search를 적용하여 신규 티켓과 가장 유사한 과거 해결 사례를 추출하는 RAG 구조 설계
예측된 Priority와 검색된 Context를 System Prompt에 주입하여 Llama 3.3 70B 모델의 답변 정확도 및 일관성 강화
OpenAI-compatible API 표준 채택을 통해 Embedding과 Text Generation 워크로드를 단일 엔드포인트로 통합하여 아키텍처 단순화

LLM을 단일 모놀리식 블랙박스로 사용하는 대신, 특정 태스크(분류, 검색)에 최적화된 가벼운 ML 모델을 전처리에 배치함으로써 시스템의 예측 가능성과 효율성을 극대화하는 하이브리드 설계 전략의 유효성 확인.

실천 포인트

1. 단순 분류 작업은 LLM 대신 Embedding 기반의 가벼운 ML 분류기(Random Forest 등) 도입 검토

2. RAG 구현 시 LLM의 토큰 낭비를 줄이기 위해 Vector Similarity로 정제된 최소한의 컨텍스트만 주입

3. API 제공자의 SDK 호환성을 확인하여 인프라 관리 포인트 및 인증 로직의 단일화 추진

4. 모델 성능 고도화 단계에서 Local Classifier를 Fine-tuned 모델로 점진적 교체하는 로드맵 수립

태그