Rocket Money가 정규식 기반 시스템을 BERT 모델과 Hugging Face Inference API로 교체해 월 1억 건 이상의 거래를 4000+ 클래스로 분류

Context

초기 4년간 정규식 기반 노멀라이저와 의사 결정 테이블로 거래를 분류했으나, 사용자 증가와 구독 경제 확대로 새로운 클래스 추가 속도를 따라가지 못했다. 기존 규칙 기반 시스템은 정규식 조정과 클래스 충돌 방지 비용이 지속적으로 증가했고, 시도한 Bag of Words 모델도 유지보수와 성능 문제로 실패했다.

Technical Solution

• 정규식 기반 분류 → BERT 계열 모델 도입: 4000+ 클래스를 처리하는 텍스트 분류 문제 해결
• 라벨링 인프라 구축: Retool을 사용해 라벨링 큐, 골드 스탠다드 검증 데이터셋, 드리프트 감지 모니터링 도구 개발
• 모델 평가 환경 구성: GCP 웨어하우스에서 4000+ 클래스 모델 성능 측정을 위한 텔레메트리 및 시스템 설계
• 모델 서빙 솔루션 선택: AWS Sagemaker, 자체 구축 솔루션, Hugging Face Inference API를 3개월간 비교 평가 후 Hugging Face 채택
• 점진적 트래픽 마이그레이션: 1주일 내에 소량 트래픽 처리 후 3개월 동안 거래량을 단계적으로 증가시켜 최악의 시나리오 기반 부하 테스트 실행

Impact

월 1억 건 이상의 거래를 처리하는 고가용성 시스템 구축 (기존 정규식 시스템 처리량 동일 유지), 1주일 내에 Hugging Face API 통합 완료

Key Takeaway

소규모 팀이 모델 운영 전문성이 부족할 때는 관리형 ML 모델 서빙 플랫폼을 도입하되, 기존 데이터 파이프라인(GCP)과의 통합 용이성과 벤더의 기술 지원 품질을 동시에 평가해야 한다. 이는 모델 성능 개선에 엔지니어링 역량을 집중할 수 있게 한다.