Graph 기반 ML Asset 관리로 전사적 Lineage 추적 및 재사용성 극대화

Context

전사 규모의 ML 시스템 확장에 따른 데이터셋, Feature, Pipeline 간의 복잡도 증가로 운영 효율 저하. 개별 Pipeline 중심의 관리 방식으로는 상위 의존성 파악 및 변경 영향도 분석에 한계 노출.

Technical Solution

• ML Asset과 관계를 First-class Infrastructure로 정의한 Model Lifecycle Graph 아키텍처 설계
• Dataset, Feature, Model, Evaluation, Workflow를 상호 연결된 Node로 모델링한 Graph 구조 도입
• Pipeline 단계별 선형 구조를 탈피하여 다대다(N:M) 의존 관계를 Traverse 가능한 형태의 Lineage로 구현
• Metadata 중심의 플랫폼 설계를 통한 ML Asset의 Discoverability 및 Governance 체계 강화
• 중앙 집중식 관리가 아닌 Self-service 접근 방식을 통한 개별 엔지니어의 Asset 발견 및 재사용 프로세스 구축
• 전사적 인프라 가시성 확보를 위한 Institutional Visibility 중심의 설계 지향