피드로 돌아가기
Dev.toInfrastructure
원문 읽기
O(N²) 상관관계 비용을 O(log N) 통신 비용으로 최적화한 SKA 연합 아키텍처
The SKA Will Generate 700 Petabytes Per Year Across Two Continents. The Routing Problem Is Familiar.
AI 요약
Context
안테나 수 증가에 따라 O(N²)로 급증하는 Baseline 상관관계 계산 비용과 초당 2PB에 달하는 방대한 Raw Data 전송의 물리적 한계 직면. 중앙 집중식 Correlator 구조로는 데이터 전송 지연과 네트워크 대역폭 병목 해결 불가능.
Technical Solution
- 중앙 집중식 처리에서 탈피한 3단계 계층 구조(CSP → SDP → SRCNet) 설계
- On-site CSP를 통한 실시간 Correlation 수행으로 전송 전 데이터 볼륨 1차 축소
- 135 PFlops 규모의 SDP를 활용한 데이터 선별 및 가공으로 저장 효율 극대화
- Rucio 기반의 Federated SRCNet을 통한 데이터 거주지 중심의 연산 이동(Computation to Data) 구현
- QIS 프로토콜의 Semantic Addressing을 적용하여 N(N-1)/2의 합성 경로를 O(log N) 통신 비용으로 활성화
- 100 Gbit/s 전용 인터컨티넨탈 링크를 통한 글로벌 노드 간 연합 데이터 흐름 제어
실천 포인트
1. 데이터 전송 비용이 연산 비용보다 높은 경우 'Computation to Data' 전략 검토
2. N(N-1)/2 형태의 Pairwise 관계가 발생하는 시스템에서 O(N²) 복잡도를 O(log N)으로 낮출 수 있는 Semantic Routing 가능성 분석
3. Raw Data의 무조건적 수집 대신 Edge 단계에서의 Distillation 과정 설계
태그