도메인 특화 Distribution Prior 기반의 정밀 Synthetic Data 생성 엔진

Context

기존 Synthetic Data 생성 도구의 Uniform Distribution 기반 값 생성으로 인한 데이터 왜곡 발생. 단순 랜덤 값 생성 방식에 따른 Referential Integrity 붕괴 및 실제 비즈니스 지표 반영 불가라는 한계 직면.

Technical Solution

• LLM 기반 자연어 파싱을 통한 데이터 스키마 및 제약 조건의 동적 정의
• 7개 산업 도메인별 Calibrated Distribution Priors 적용으로 실제 세계의 통계적 특성(Log-normal, Zipf's law 등) 구현
• Dependency Order 기반 데이터 생성 로직 설계를 통한 Foreign Key 무결성 원천 보장
• Natural Language 기반의 Target Value 핀닝(Pinning) 기술로 특정 시점의 비즈니스 지표 정밀 제어
• SQLAlchemy 연결 인터페이스 채택으로 다양한 RDBMS 대상의 데이터 시딩(Seeding) 확장성 확보

Impact

• 혈액형 분포 등 도메인 데이터의 실제 값 대비 오차 범위 0.6% 이내 구현
• 표준 노트북 환경 기준 초당 약 500k rows의 생성 성능 달성
• 카드 부정 거래율(Fraud rate) 2.00% 등 실제 산업 표준 지표의 정밀한 재현

Key Takeaway

데이터 생성 시 단순한 무작위성이 아닌 도메인 지식 기반의 확률 분포(Distribution)를 설계에 반영해야 모델의 Overfitting을 방지하고 테스트 신뢰도를 확보 가능함.