LINE Engineering
동적 사용자 분할을 활용한 새로운 A/B 테스트 시스템을 소개합니다
LINE Plus가 사용자 세그먼트 기반 동적 분할 기법을 도입해 특정 사용자군만 대상으로 하는 A/B 테스트 시스템 구축
뱅크샐러드 기술블로그점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
뱅크샐러드 Core Infra 팀이 MySQL 테이블을 S3+Athena로 마이그레이션하면서 Spark Bucketing을 적용해 S3 Object 호출 비용을 700배 감소
Databricks가 Hugging Face Datasets에 from_spark() 함수를 추가해 Spark 데이터프레임을 직접 변환, 16GB 데이터셋 처리 시간 22분에서 12분으로 45% 단축
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models
뱅크샐러드 기술블로그Spark on Kubernetes로 가자!
뱅크샐러드가 Spark 배치 작업 실행 환경을 EMR에서 self-hosted Kubernetes로 이전해 피크 시간 기준 45% 비용 절감
올리브영 테크블로그올리브영 데이터 엔지니어링
올리브영이 IDC 기반 ETL 시스템에서 GCP + Airflow + Spark 기반 클라우드 플랫폼으로 전환해 다양한 데이터 원천 수용 및 로그 수집 기능 추가