Gemma3 기반의 호주 내 Data Sovereignty 보장 Private AI API 구축

Context

의료, 법률, 금융 등 규제 산업 내 민감 데이터의 미국 서버 전송으로 인한 데이터 주권 및 컴플라이언스 위배 문제 발생. 기존 Public AI API의 데이터 레지던시 제약과 토큰 기반 과금 모델의 불확실성을 해결할 로컬 인프라 필요성 증대.

Technical Solution

• Gemma3(4b, 12b) 모델과 Ollama를 활용한 전용 하드웨어 기반의 Local Inference 환경 구축
• Cloudflare Zero Trust Tunnel 적용을 통한 Inbound Port 개방 없는 보안 네트워크 구성
• Cloudflare Sydney 및 Melbourne Edge Node 배치를 통한 데이터 처리 경로의 호주 내 국한 설계
• OpenAI-compatible API 규격 채택으로 기존 클라이언트 코드의 Endpoint 변경만으로 즉시 전환 가능한 하위 호환성 확보
• Node.js 기반 Custom Auth Gateway 구축을 통한 클라이언트별 API Key 격리 및 요청 로깅 체계 구현
• RTX A2000 12GB GPU 기반의 Dedicated Hardware 운용으로 데이터 외부 유출 원천 차단