[여의도 43층 사람들] Data Engineer 에게 무엇이든 물어보세요!

Context

뱅크샐러드는 수백 개의 마이크로서비스와 사용자 이벤트에서 발생하는 대량의 데이터를 효과적으로 수집·분석·활용할 인프라가 필요했다. 기존에는 복잡한 쿼리 실행이나 과거 데이터 추이 조회가 어려웠으며, 데이터 분석 결과를 제품에 적용하는 과정도 비효율적이었다.

Technical Solution

• 데이터레이크 플랫폼 구축: 수백 개 DB의 스냅샷과 사용자 이벤트, 마이데이터 요청/응답 값을 매일 적재하는 중앙화된 저장소 구현
• 데이터마트 아키텍처 도입: 데이터레이크의 원본 데이터를 가공하여 여러 서비스의 데이터 결합 및 계산된 새로운 데이터셋 생성
• 사용자 개발·운영 권한 위임: 기존 데이터플랫폼 팀의 단독 개발 방식에서 데이터 사용자가 수집·가공 파이프라인을 직접 개발하고 운영할 수 있도록 전환
• 데이터 서빙 서비스 개발: 분석계에서 생성된 데이터를 API로 쉽게 변환하여 제품 기능으로 즉시 활용 가능하게 구현
• 페어 프로그래밍 방식 도입: 프로젝트 및 기능 개발 시 두 명 이상의 엔지니어가 함께 작업하여 작업의 맥락을 팀 전체에 자동으로 전파

Impact

아티클에서 정량적 수치(성능 향상도, 처리 시간 감소, 비용 절감 등)가 명시되지 않았다.

Key Takeaway

데이터 플랫폼은 인프라 계층 완성 후 데이터 사용자가 직접 개발·운영할 수 있도록 추상화 수준을 높이는 것이 핵심이다. 이렇게 하면 팀의 병목을 해소하면서도 분석 결과를 더 빠르게 제품으로 실현할 수 있다.