H Company가 Agentic Localization 기법과 SkyPilot 분산 학습으로 Holo2-235B-A22B 모델 개발, UI 요소 인식 성능을 단일 스텝 70.6%에서 3스텝 78.5%로 향상

Context

고해상도 4K 인터페이스에서 작은 UI 요소의 정확한 위치 파악이 어려운 상황이었으며, 대규모 모델 학습 시 여러 클라우드 제공자 간 워크로드 조율의 복잡성이 존재했다.

Technical Solution

• Agentic Localization 도입: 단일 스텝 예측을 반복적으로 정제하는 다단계 추론으로 모든 Holo2 모델 크기에서 10~20% 상대 성능 개선
• 다중 클라우드 학습 환경 구축: SkyPilot을 통합 인터페이스로 사용하여 Kubernetes 클러스터 간 학습 작업 조율
• SkyPilot 추상화: 인프라 복잡성을 제거하여 연구자가 k8s 매니페스트 작성 및 배포 스크립트 유지보수 대신 모델 개발에 집중

Impact

• ScreenSpot-Pro 벤치마크에서 78.5% 달성 (이전 SOTA 갱신)
• OSWorld G 벤치마크에서 79.0% 달성
• 3스텝 Agentic 모드에서 70.6%(단일 스텝) → 78.5%(3스텝)로 성능 향상

Key Takeaway

대규모 모델의 UI 인식 작업에서 반복적 정제와 다중 클라우드 통합 인터페이스는 성능과 개발 효율성을 동시에 확보하는 핵심 설계 전략이다.