Runtime DAG 기반 Search Space 최적화로 ML 파이프라인 효율 증대

Turning Observability into a Search Space

Raluca Crisan2026년 5월 10일7분advanced

AI 요약

Context

기존 Coding Agent는 Semantic Search 및 AST 분석 기반의 정적 분석에 의존함. 데이터 과학 파이프라인의 경우 실행 순서와 데이터 흐름 등 Runtime Context가 핵심임에도 이를 활용한 최적화 구조가 부족한 상황임.

Etiq 도구를 통한 실행 코드의 Lineage 및 Artifacts 캡처로 Runtime DAG 생성
실행 노드 필터링 및 리터럴 인자 분석 규칙을 적용하여 SMAC 최적화가 가능한 Search Space로 변환
단순 모델 파라미터 튜닝을 넘어 Data Preprocessing 단계까지 포함하는 전체 파이프라인 최적화 수행
Explicit Dependency Structure를 활용하여 텍스트 유사도가 아닌 데이터 흐름 기반의 Context Localization 구현
LLM의 Free Search 대비 탐색 범위를 제한하여 이론적 Context Compression 및 비용 절감 도모

실천 포인트

1. 파이프라인의 성능 병목이 데이터 전처리에 있는지 확인하고 최적화 대상에 포함할 것

2. LLM의 자유 탐색(Free Search)과 DAG 기반 제한 탐색의 성능 및 비용 Trade-off를 정밀 비교할 것

3. 단순 텍스트 유사도 기반 검색 대신 데이터 흐름 기반의 Context Localization 적용 검토

태그