Human Worker를 API처럼 활용하는 MCP 기반 오케스트레이션 설계

Context

AI가 처리하기 어려운 CAPTCHA 해독이나 API 없는 UI 탐색 작업의 한계 발생. 기존의 브라우저 자동화 방식은 UI 변경에 취약하여 유지보수 비용이 매우 높음. 작업 성격에 따라 최적의 수행 주체(AI, 스크립트, 사람)를 동적으로 할당하는 추상화 계층 필요.

Technical Solution

• Model Context Protocol(MCP)을 활용하여 인간 작업자를 일반 API 도구와 동일한 인터페이스로 추상화
• Microworkers, Amazon Mechanical Turk 등 마이크로태스크 플랫폼의 REST API를 MCP 툴 번들로 래핑하여 AI가 직접 제어하는 구조
• AI가 각 작업자별 맞춤형 지침(Step-by-step directions)을 생성하고 템플릿 변수로 주입하여 작업 정확도 향상
• 'REQUIRES_CC', 'NOT_AVAILABLE' 등의 Escape Hatch 옵션을 설계하여 불가능한 작업에 대한 비용 낭비 방지 및 정직한 피드백 수집
• 작업자 ID 기반의 퀄리티 스코어링 시스템을 구축하여 데이터 기반의 티어별 작업 배정 로직 구현
• 작업 생성부터 결과 검증, 작업자 평가, DB 상태 업데이트까지 전체 라이프사이클을 MCP 툴 호출로 자동화한 오케스트레이션 루프 설계

Impact

• 총 300개 이상의 작업 수행에 약 $90 비용 소요
• 작업당 평균 비용 $0.30 달성
• 성공적인 작업 완료율 약 75% 기록
• 작업자 중 불량 작업자 제외 비율 약 1.3% (250명 중 4명)
• 단순 작업($0.20~$0.40) 및 복잡 작업($0.40~$0.60)의 세분화된 비용 체계 확인

Key Takeaway

인간의 인지 능력을 하나의 '컴퓨팅 리소스'로 정의하고 표준 프로토콜(MCP)로 통합함으로써 AI 시스템의 기능적 한계를 유연하게 확장하는 설계 전략.