IAM 한계를 극복한 Lake Formation 기반 Fine-grained Data Governance 체계 구축

Context

S3 기반 Data Lake 운영 시 IAM Policy만으로는 Table, Column, Row 단위의 세밀한 권한 제어가 불가능한 한계 발생. 사용자 및 역할 증가에 따른 Bucket Policy의 복잡도 상승으로 인해 운영 효율성과 보안 가시성 저하 문제 직면.

Technical Solution

• Glue Data Catalog 메타데이터 레이어 상단에 Lake Formation 거버넌스 계층을 추가한 계층적 보안 구조 설계
• IAM Permission과 Lake Formation Permission의 'AND' 논리 결합을 통한 이중 보안 검증 메커니즘 적용
• Data Filters 도입을 통한 특정 Column 제외 및 Row 레벨 필터링 기반의 PII 데이터 보호 체계 구현
• LF-TBAC(Tag-based Access Control) 적용으로 테이블 수 증가에 따른 권한 관리 오버헤드 최소화
• AWS RAM 연동을 통한 Cross-account 데이터 공유 프로세스 간소화 및 중앙 집중형 감사 체계 구축

Key Takeaway

기술적 거버넌스는 메타데이터 관리와 접근 제어를 분리하여 설계함으로써 확장성을 확보하고, 비즈니스 요구사항에 따른 세밀한 권한 제어는 별도의 필터링 레이어에서 처리하는 것이 효율적임.