피드로 돌아가기
Dev.toAI/ML
원문 읽기
Open-source AI Pilot 기반 0원 투자로 180ms 지연시간 달성
I Built Open-Source AI. Our New CTO Spent $8M on His Old Company's Product and Fired My Team. Two Weeks Later, the CEO Called.
AI 요약
Context
5년간 P0 장애가 없던 안정적인 Legacy System을 보유한 상태에서 AI 전환 요구 발생. 외부 솔루션 도입을 통한 전면 교체 전략과 기존 도메인 지식을 활용한 점진적 AI 레이어 추가 전략이 대립함.
Technical Solution
- 기존 Legacy System을 유지하며 임계 경로(Critical Path)에 AI Assistance Layer를 추가하는 하이브리드 구조 설계
- Order Routing 및 Anomaly Detection 시나리오에 특화된 Open-source 모델 채택 및 In-house Fine-tuning 수행
- 외부 솔루션 구매 대신 기존 서버의 Idle Capacity를 활용한 추론 환경 구축으로 추가 인프라 비용 제거
- 실제 운영 로그 47만 건의 데이터 라벨링을 통한 Production Data Distribution 반영 및 모델 최적화
- 전면 교체가 아닌 점진적 적용을 통해 기존 시스템의 안정성(Load-bearing walls)을 보존하는 리스크 관리 전략 채택
실천 포인트
- AI 도입 전 실제 Production Log 기반의 Baseline 성능 측정 여부 확인 - 외부 솔루션의 Claim 수치와 실제 내부 Pilot 데이터의 성능 격차 검증 - 전면 교체 리스크를 줄이기 위한 기존 시스템 상단의 AI 레이어 추가 가능성 검토 - 신규 인프라 도입 전 기존 서버의 Idle Capacity 활용 가능성 분석