Claude Sonnet 3.5 기반 DS/ML 자율 에이전트로 AUC 0.95 달성

Context

전통적인 데이터 과학 워크플로우 내 반복적인 프롬프팅과 세션 휘발성으로 인한 인간의 개입 병목 현상 발생. 기존 AI 도구 활용 시에도 수동 리뷰와 수정 과정이 필수적인 구조적 한계 존재.

Technical Solution

• EDA부터 최종 평가까지 전체 개발 Lifecycle을 관리하는 Autonomous Agent 구조 설계
• Secure Local Sandbox 도입을 통한 코드 실행 및 검증 환경 분리
• Self-review 및 Correction 루프를 통한 런타임 오류의 자동 수정 체계 구축
• 세션 간 데이터 상태 유지를 위한 Memory Management 기반의 지속적 학습 구조 적용
• Token Efficiency 향상을 위한 Advanced Context Management 전략 채택
• 다양한 LLM Provider 및 Custom Skill 확장이 가능한 모듈형 인터페이스 설계

Impact

• Kaggle 경쟁 3,000개 팀 중 상위 30% 진입 및 AUC 0.95 기록
• 1위 모델(AUC 차이 0.004) 대비 수주 분량의 수동 튜닝 및 186개 모델 Ensemble 과정 제거

Key Takeaway

단순 LLM 호출을 넘어 실행 환경(Sandbox)과 피드백 루프(Self-review)를 결합한 Agentic Workflow가 복잡한 데이터 분석의 자동화 핵심임.