600억 건의 ML 예측 기반 GenOS 플랫폼을 통한 AI Agent 스케일업

Context

정형 데이터 중심의 기존 ML 예측 시스템을 넘어 비정형 데이터 처리와 유연한 의사결정이 가능한 AI Agent 도입 필요성 증대. 정해진 코드 경로를 따르는 Workflow 방식으로는 복잡하고 개방적인 비즈니스 문제 해결에 한계 직면.

Technical Solution

• 정형 작업의 예측 가능성과 일관성 확보를 위해 Predefined Code Path 기반의 Workflow 구조 유지
• 비정형 데이터 처리 및 동적 의사결정을 위해 모델 중심의 Model-driven Decision-making 기반 Agent 아키텍처 도입
• LLM의 추론 깊이와 Token 소비량, 그리고 Latency 사이의 Trade-off를 고려한 성능 최적화 전략 수립
• 기존 Service Runtime에 Guardrails 및 Monitor 모델을 통합하여 안정적인 점진적 롤아웃(5% 단위) 체계 구축
• Security 연구진이 직접 설계한 Guardrails를 통해 AI Governance와 비즈니스 요구사항 간의 균형 최적화

Impact

• QuickBooks AI Agent 기준 80%의 Repeat Engagement 달성
• Accounting Agent를 통한 고객사 월평균 12시간의 업무 시간 절감
• 세무 제품의 데이터 입력 자동화로 연간 170만 시간의 작업 시간 단축
• Payment Agent 도입 후 인보이스 대금 회수 기간 평균 5일 단축
• 셀프헬프 시스템의 연간 응답 처리량을 이전 대비 10배 규모인 1.1억 건으로 확대

Key Takeaway

비정형 데이터 기반의 복잡한 문제는 고정된 Workflow가 아닌 Agent 기반의 유연한 추론 구조로 해결하되, 시스템 안정성을 위해 기존 런타임의 Guardrails와 점진적 배포 전략을 결합하는 하이브리드 접근 방식이 필수적임.