Shopify의 데이터 구조화 여정: One-Shot LLM에서 DSPy 기반 에이전틱 아키텍처로

Context

기존 One-Shot LLM 방식은 컨텍스트 윈도우 제한으로 전체 페이지 커버리지가 불가능했고, 필드 추가 시 프롬프트 관리가 취약해지며 비용이 급등하는 구조적 한계를 가졌다. 수백만 개의 비정형 상점 데이터를 표준화된 구조로 변환하는 작업에서 한계가 노출되었다.

Technical Solution

• 수동 프롬프트 튜닝 대신 DSPy Japa 옵티마이저를 활용한 프로그래밍 방식의 자동 최적화 도입
• 단일 에이전트를 Fraud Agent, Profile Agent 등 목적별 전문 서브 에이전트로 분리하여 관심사 분리 구현
• 자체 호스팅된 Qwen(32B/72B) 모델로 GPU 클러스터 운영
• ShopNap 스냅샷 서비스를 구축하여 크롤링 시점의 상점 상태를 고정하고 재현 가능한 평가 환경 확보
• Batch Layer(Flink), Agent Layer(Kubernetes), LLM Layer(GPU) 3계층 아키텍처로 분리 운영

Impact

비용이 1/75 수준으로 절감되었고, 데이터 추출 품질은 2배 향상되었다. 상점 커버리지가 전체 상점으로 확대되었으며, 신규 필드 추가 시 서브 에이전트 추가로 간단히 확장 가능해졌다.

Key Takeaway

복잡한 작업일수록 단일 에이전트보다 목적에 특화된 서브 에이전트 구조가 유리하며, 개별 프롬프트를 튜닝하는 것보다 DSPy 같은 자동화 옵티마이저로 아키텍처 수준에서 최적화하는 것이 지속 가능한 성능을 보장한다.