Shopify의 데이터 구조화 여정: One-Shot LLM에서 DSPy 기반 에이전틱 아키텍처로

Context

수백만 개의 비정형 커머스 데이터(상점 페이지, 정책 등)를 처리할 때 One-Shot LLM 방식은 컨텍스트 윈도우 제한과 프롬프트 취약성, 비용 상승이라는 한계를 가졌다. 상점마다 HTML 구조와 정책 표기 방식이 제각각이라 단일 에이전트로 일관된 정보 추출이 어려웠다.

Technical Solution

• One-Shot LLM → DSPy 기반 ReAct 에이전트 구조로 전환
• GPT-4/5 대신 자체 호스팅된 Qwen(32B/72B) 모델 활용
• 단일 에이전트를 Fraud Agent, Profile Agent 등 전문 서브 에이전트로 분리
• ShopNap 스냅샷 서비스를 통해 크롤링 시점의 상점 상태 고정
• DSPy Japa 옵티마이저로 프롬프트 자동 최적화 적용

Impact

비용이 1/75 수준으로 절감하고 품질이 2배(100% 향상) 개선되었다. 상점 커버리지가 일부 제한에서 전체로 확대되었으며, 신규 필드 추가 시 전체 재검증 없이 서브 에이전트 추가로 간단히 확장 가능하다.

Key Takeaway

복잡한 작업에서는 목적에 특화된 서브 에이전트가 단일 에이전트보다 성능과 확장성 측면에서 유리하다