MapReduce의 한계를 넘어 Big Data 분석 표준이 된 Apache Spark의 설계 철학

Context

기존 MapReduce 기반 분석 방식의 높은 진입 장벽. Java 중심의 프로그래밍 모델로 인한 개발 생산성 저하. 디스크 I/O 의존적 구조로 인한 연산 속도의 한계.

Technical Solution

• In-Memory 컴퓨팅 방식을 도입하여 반복적인 데이터 접근 속도 최적화
• Scala, Python, R, C# 등 다양한 고수준 언어 지원으로 사용자 접근성 확대
• 2014년 SQL 인터페이스를 추가하여 데이터 분석가와 엔지니어 간의 인터페이스 통합
• 분산 컴퓨팅 환경에서 메모리를 더 효율적으로 사용하고 연산 속도를 가속하는 새로운 분산 처리 아키텍처 설계
• Delta Lake와 MLflow 같은 오픈 소스 프레임워크를 통해 스토리지 계층과 ML Lifecycle 관리 체계 구축

Impact

Databricks 기업 가치 약 1,300억 달러 달성.

Key Takeaway

복잡한 기술적 제약을 추상화하고 다양한 인터페이스를 제공함으로써 특정 전문가 집단을 넘어 범용적인 생태계를 구축하는 설계 전략의 중요성.