데이터 이동 없는 Federated Learning 기반 AI 분산 학습 아키텍처

Context

중앙 서버로 대규모 데이터를 전송하는 기존 ML 학습 방식의 네트워크 부하 발생. 개인정보 보호 요구 증가에 따른 데이터 중앙 집중화 방식의 보안 한계 직면.

Technical Solution

• 데이터 이동 대신 알고리즘을 Edge 기기로 전송하는 Federated Learning 구조 채택
• 로컬 노드에서 개별 데이터를 활용해 모델을 학습시키는 분산 처리 방식 적용
• 데이터 원본 대신 학습된 가중치와 Gradients만 서버로 전송하는 통신 최적화 설계
• Federated Averaging 알고리즘을 통한 분산 업데이트 값의 글로벌 모델 병합 프로세스 구축
• 노드 이탈 시 해당 사이클에서 제외하는 비동기 처리 기반의 Fault Tolerance 확보