피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Taxonomy 최적화와 인프라 계층 라우팅 이관을 통한 분류 정확도 82% 달성
Taxonomy Surgery, Cosine = 1.0000, and Making Routing Disappear into Infrastructure
AI 요약
Context
애플리케이션 내부에 구현된 LLM categorizer와 k-NN embedding lookup 기반의 모델 라우팅 구조를 운영함. 특정 카테고리 간 낮은 분류 정확도로 인해 라우팅 효율성이 저하되는 병목 지점 발생.
Technical Solution
- 동일 Tier로 매핑되는 analysis와 research_lookup 카테고리를 통합하여 모델의 기하학적 구조(Geometry)에 맞게 Taxonomy 재설계
- Application layer에 종속된 라우팅 로직을 OpenAI 호환 프록시인 thrift-flow 인프라 계층으로 이관
- SentenceTransformer 기반의 Cosine Similarity 검증(1.0000)을 통해 Embedding Pool의 포터빌리티 확보 및 데이터 마이그레이션 수행
- model="auto" 파라미터를 통한 추상화 레이어를 도입하여 클라이언트에서 라우팅 메커니즘을 은닉하는 구조 설계
- tier_mapping_version 스키마 도입을 통한 프로덕션 데이터의 안전한 Re-labeling 및 감사 추적 가능성 확보
실천 포인트
- 분류 모델의 정확도가 낮을 때, 해당 카테고리들이 동일한 최종 목적지(Tier)를 공유하는지 확인하여 Taxonomy 통합 검토 - Embedding 기반 시스템 이관 시, 동일 체크포인트 모델과 Prefix 규칙 적용 여부를 Cosine Similarity로 정량 검증 - 기능 변경 이력이 중요한 프로덕션 데이터 업데이트 시, 버전 필드를 추가하여 쿼리 필터링 기반의 롤백 및 감사 전략 수립