PostgreSQL 기반 Star Schema 설계를 통한 BI 데이터 파이프라인 최적화

Context

Raw Data를 시각화 도구에 직접 연결할 때 발생하는 데이터 처리 부하와 비효율적인 쿼리 구조의 한계점을 분석. 분석 효율성을 높이기 위해 단순 연결을 넘어선 데이터 모델링과 전처리 계층의 필요성 대두.

Technical Solution

• Local 및 Cloud(Aiven) 환경의 PostgreSQL 연결을 통한 데이터 소스 다변화 구현
• .pem 인증서를 활용한 SSL Encryption 적용으로 전송 계층의 보안 무결성 확보
• Sales 테이블을 중심축으로 설정한 Star Schema 구조 설계를 통해 데이터 간 관계 최적화
• BI 툴의 연산 부하를 줄이기 위해 SQL Aggregation(SUM, AVG 등)을 통한 사전 데이터 정제 수행
• 쿼리 기반의 Filtered Dataset 추출로 시각화 엔진의 렌더링 성능 향상 도모