하루 만에 PyPI와 HuggingFace에 실운영 MLOps 파이프라인을 공개함

Context

수년간 수천만 건의 예측을 매일 처리하는 프로덕션 ML 파이프라인 운영 경험을 바탕으로, 기업 환경에서 실제 요구사항에 부합하는 오픈소스 레퍼런스 아키텍처가 부재하다는 한계점을 인식함. 대부분의 OSS ML 프로젝트가 노트북이나 튜토리얼 수준에 머물러 있다는 문제를 해결하기 위해 PulseFlow를 개발함.

Technical Solution

• ETL 파이프라인: Pandas와 SQLAlchemy 기반 데이터 수집 및 전처리 모듈로 데이터 ingestion 자동화함
• MLflow Tracking: 로컬 ./mlruns 디렉토리에 실험 결과 자동 로깅하여 모델 버전 관리와 재현성 확보함
• FastAPI 마이크로서비스: 실시간 추론을 위한 RESTful API 엔드포인트 제공함
• Apache Airflow DAGs: 전체 파이프라인 엔드투엔드 오케스트레이션 구현함
• Docker Compose: 단일 명령어로 전체 스택 실행 가능하게 패키징함

Impact

pip install pulseflow-mlops 한 줄로 프로덕션급 ML 시스템 즉시 구축 가능함.

Key Takeaway

프로덕션 ML의 80%는 모델 학습과 로깅 너머에 있다. 2AM 스키마 변경 대응, 검증 통과 후 실패 롤백, SLA 초과 페이징, 컴플라이언스 증빙 등 구조적 패턴이 필요하다.