진정한 실험 조직의 탄생

Context

2019년 말까지 뱅크샐러드는 데이터 직군만 데이터를 분석하고 있었으며, 전사 구성원이 가설 검증 없이 기능을 배포하는 문화를 갖고 있었다. 모든 조직이 데이터 기반 의사결정을 수행하려면 전사 차원의 실험 문화와 인프라가 필요했다.

Technical Solution

• 전사 데이터 역량 강화: 1분기에 총 12개의 데이터 조회/분석 가이드 문서 작성 및 5회 교육 실시, 신규 입사자 대상 온보딩 강의 운영, 데이터 자문 서비스 제공
• 코드 기반 실험 설정: 초기 단계에 실험을 추가하려는 개발자가 PR을 통해 코드로 실험을 생성/수정할 수 있는 방식 도입, 개발자 대상 실험 생성/배포 가이드 제공
• 실험 설계 간소화: 실험 설계 문서 작성 내용을 최소화하여 누구나 작성 가능하도록 변경, 제품 배포 막바지 사례에는 신속한 리뷰로 일정 연기 방지
• 개발자 지원 강화: 실험 코드 작성에 어려움을 겪는 개발자를 위해 실험 플랫폼 팀이 직접 코드 작업 지원
• 주간 실험 리뷰 회의 구성: 데이터 사이언티스트가 진행 중인 실험의 지표를 매주 추출, 통계적 검정력과 유의성 함께 분석, 실험 의사결정 및 노하우 공유

Impact

• 전사 데이터 조회 Query 수: 2019년 말 대비 4배 증가
• 실험 생성 추이: 1분기 7개에서 3분기 100개 이상으로 확대
• 실험 성과 사례: 보험 스쿼드의 상품 신청 클릭 수 400% 증가

Key Takeaway

조직 문화 변화는 기술 인프라만으로는 불충분하며, 초기 단계에서 단순화된 진입장벽(코드 기반 실험 설정)과 지속적인 교육, 신속한 피드백 루프(주간 리뷰)를 통해 점진적으로 채택률을 높이는 것이 중요하다.