그래프 어텐션 네트워크 소개
이 글은 그래프형 데이터에 딥러닝 패러다임을 적용하는 GATs(Graph Attention Networks)를 초보자도 쉽게 이해할 수 있도록 소개합니다. 이 글은 AI 번역본입니다. 오역이 있다면 댓글로 알려주세요.
Created on September 12|Last edited on September 12
Comment
자연어 분야에서 어텐션은 의심의 여지 없는 핵심 기법입니다. 현재의 AI 혁신을 이끄는 자기지도 학습과 더불어, 가장 단순하면서도 영향력이 큰 학습 패러다임 중 하나로 꼽힙니다. 그리고 어텐션의 적용은 자연어에만 머물지 않습니다. 컴퓨터 비전만을 말하는 것도 아닙니다.
이 글에서는 그래프 신경망(GATs)에서의 어텐션 개념을 소개합니다.
그래프 신경망에서 어텐션은 어떻게 작동하나요?
언어에서 어텐션의 기본 원리는 매우 단순합니다. 가장 단순한 형태에서는 문장 내 모든 단어 쌍의 유사도를 계산합니다. 그래프에서도 마찬가지로 적용됩니다. 가장 단순한 형태의 그래프 어텐션은 두 노드 표현 간의 유사도를 계산합니다.
어디에서 두 노드 표현 간의 어텐션 점수를 계산합니다.
어텐션의 개념은 (논쟁의 여지가 있게) Veličković 등의 Graph Attention Networks에서 도입되었습니다. 핵심 아이디어는 각 노드가 이웃 노드들에 “집중”하여 가중 합을 수행함으로써, 그래프 내 각 노드의 은닉 표현을 계산하는 것입니다.
그림에서 보이듯이, 이 접근법은 검토 중인 루트 노드로부터 한 홉 떨어진 노드들, 즉 1차 이웃만을 고려하여 제안된 어텐션 메커니즘에 일부 구조적 정보를 주입합니다.
그래프 신경망에서 왜 어텐션을 써야 할까요? 시퀀스 기반 과제에서 어텐션을 사용하는 이유와 같습니다. GCN에서 합성곱의 국소 수용 영역처럼 특정 편향을 주거나, MPNN에서 이웃의 모든 노드로부터 정보를 균일하게 집계하는 등 수작업으로 특징을 설계해 네트워크가 무엇을 배워야 하는지 지정하는 대신, 어텐션은 알고리즘이 스스로 어떤 입력에 주목하고 무엇을 학습할지 결정하게 해 우리를 더 중요한 측면에 집중할 수 있게 해줍니다.
다른 패러다임과 비교했을 때 다음과 같은 이점도 있으며, 주요 장점은 다음과 같습니다:
- 효율성. 어텐션이 합성곱을 대체하며 주목받은 것과 같은 이유입니다. 어텐션의 멀티헤드 방식은 GPU에서 병렬화를 가능하게 하여, 다른 접근법들에 비해 매우 효율적입니다.
- 어텐션에서는 특정 제약을 강제하지 않기 때문에, 알고리즘이 입력의 어떤 부분에 집중할지 스스로 결정할 수 있으며, 그 결과 학습 능력과 해석 가능성이 향상됩니다.
참고 다른 패러다임에 대한 개요는 다음 글들을 참고하세요.
💡
An Introduction to Message Passing Graph Neural Networks
This article provides a beginner-friendly introduction to Message Passing Graph Neural Networks (MPGNNs), which apply deep learning paradigms to graphical data.
An Introduction to Convolutional Graph Neural Networks
This article provides a beginner-friendly introduction to Convolutional Graph Neural Networks (GCNs), which apply deep learning paradigms to graphical data.
요약
이 글에서는 다음과 같은 주제의 어텐션 프레임워크에 대해 살펴보았습니다 그래프 신경망, 그리고 그것의 다른 패러다임들전체 W&B 기능 모음을 보려면 다음을 확인하세요 5분 가이드.
Graph Neural Networks (GNNs) with Learnable Structural and Positional Representations
An in-depth breakdown of "Graph Neural Networks with Learnable Structural and Positional Representations" by Vijay Prakash Dwivedi, Anh Tuan Luu, Thomas Laurent, Yoshua Bengio and Xavier Bresson.
Using W&B with DeepChem: Molecular Graph Convolutional Networks
A quick tutorial on using W&B to track DeepChem molecular deep learning experiments
Part 1 – Introduction to Graph Neural Networks With GatedGCN
This article summarizes the need for Graph Neural Networks and analyzes one particular architecture – the Gated Graph Convolutional Network.
De Novo Molecule Generation with GCPNs using TorchDrug
How reinforcement learning, specifically graph convolutional policy networks, can help create brand new molecules to treat real world diseases
Add a comment