ArcadeDB 기반 분산 메타데이터 통합 및 다중 쿼리 인터페이스 구현

DatAasee 0.9 Released

Christian Himpe2026년 5월 8일1분intermediate

AI 요약

Context

분산된 데이터 및 메타데이터 소스의 파편화로 인한 통합 관리의 어려움 발생. 서지 및 연구 데이터의 효율적 탐색을 위한 Centralized Metadata Catalog의 필요성 증대.

Graph Database인 ArcadeDB를 채택하여 복잡한 메타데이터 간의 Interlinked 관계를 효율적으로 모델링
Connect(Benthos)를 Backend 파이프라인으로 활용하여 다양한 데이터 소스로부터의 원활한 Data Ingestion 구현
SQL, OpenCypher, MQL, GraphQL, Redis 등 다중 Query Language 지원을 통해 데이터 접근성 및 유연성 확보
HTTP API 기반의 JSON 인터페이스를 설계하여 외부 시스템과의 상호 운용성 극대화
OAI-PMH, S3 등 표준 프로토콜과 DataCite, MARC 등 다양한 포맷 지원을 통한 데이터 통합 범위 확장
Docker 및 Podman 기반의 Compose 환경을 구축하여 배포 및 인프라 관리의 단순화 달성

실천 포인트

1. 복잡한 관계 중심 데이터 처리 시 RDB 대신 Graph Database(ArcadeDB 등) 검토

2. 단일 쿼리 언어의 한계를 극복하기 위해 다중 인터페이스(GraphQL, SQL 등) 제공 전략 수립

3. 데이터 수집 파이프라인 구축 시 Connect(Benthos)와 같은 경량 ETL 도구 활용 방안 검토

4. 표준 메타데이터 포맷(DataCite, MARC) 준수를 통한 데이터 상호 운용성 확보

태그