Graph Machine Learning 분야에서 노드·엣지·그래프 수준의 예측 작업을 Graph Neural Networks과 Transformers로 처리하는 방법론 소개

Context

그래프 데이터는 소셜 네트워크, 분자 구조, 지식 그래프 등 다양한 분야에 광범위하게 존재하지만, 시퀀스나 그리드 형태의 전통적 ML 객체와 달리 순서 불변성(permutation invariance)을 가져 표준적인 ML 기법을 직접 적용할 수 없다. 그래프의 토폴로지는 에지 리스트 또는 인접 행렬로 표현되어도 순서를 재배열해도 동일한 그래프이기 때문에, 이러한 특성을 존중하는 전문화된 학습 방법이 필요했다.

Technical Solution

• 그래프 표현 방식 정의: 노드와 엣지의 타입(동종/이종), 방향성(방향 그래프/무방향 그래프) 등 그래프 특성을 먼저 특성화하여 데이터에 최적의 표현 선택
• 작업 수준별 학습 전략 구분: 그래프 수준(생성, 진화 예측, 분류/회귀), 노드 수준(속성 예측), 엣지 수준(속성/누락 엣지 예측), 서브그래프 수준(커뮤니티 감지) 별로 각각의 ML 태스크 정의
• Graph Neural Networks 도입: 메시지 패싱(message passing) 방식으로 이웃 노드의 정보를 집계하여 노드 임베딩을 학습하는 신경망 기반 방법 적용
• Transformers for Graphs 활용: 메시지 패싱 네트워크와 선형 장거리 트랜스포머를 결합하여 GNN의 과다 평탄화(oversmoothing) 문제 완화 및 대규모 그래프 확장성 개선
• 학습 설정 선택: 단일 그래프에서의 귀납적 학습(transductive setting)과 서로 다른 그래프로 분할된 귀납적 학습(inductive setting) 중 데이터 구조에 맞는 방식 선택

Key Takeaway

그래프 데이터의 순서 불변성을 존중하면서 노드·엣지·그래프 수준의 다양한 작업을 처리하려면, Graph Neural Networks의 메시지 패싱과 Transformers의 장거리 의존성을 결합한 하이브리드 접근이 필수적이다. 특히 GNN의 과다 평탄화와 확장성 한계를 Transformers 아키텍처가 보완할 수 있어, 더 큰 규모의 그래프 처리에 유망한 방향으로 제시된다.