멀티태스크 자기 지도 그래프 표현 학습

목차

방법

그림 1: 제안된 ParetoGNN 프레임워크

전체 그래프가 주어지면 $\large \mathcal{G}$ 데이터 소스로서, 각 프리텍스트 과제마다 에서 서브그래프를 샘플링합니다. $\large \mathcal{G}$ 과제별 증강 기법 사용 $\large T_K(\cdot)$서브그래프 샘플링은 학습 데이터의 다양성을 높이고, 동시에 멀티태스크 학습을 메모리 효율적으로 수행할 수 있게 해주는 자연스러운 증강 방식입니다.
그다음 각 변형된 그래프를 하나의 공유 그래프 인코더에 입력하여, 다음으로 매개변수화된 과제별 노드 표현을 얻습니다. $\large \theta_g$
각 프리텍스트 과제마다 다음을 정의합니다 $\large \mathcal{L}_k$ k번째 과제의 손실로서, 다음과 같이 정의합니다 $\large \mathcal{L}_k(\mathcal{G}; T_k, \theta_g, \theta_j)$ 어디에서 $\large \theta_j$ 노드 표현을 디코딩하는 네트워크가 있으며, MLP 프로젝션 헤드나 그래프 디코더일 수 있습니다.
그다음 모든 프리텍스트 과제 전반의 손실을 동시에 최소화하고자 합니다. 파레토 최적화 정식화 (본질적으로 다중 그래디언트 하강 알고리즘)

생성적 복원 무작위로 선택한 노드 배치의 특성 일부를 마스킹하고, 이 마스킹된 그래프를 GNN 인코더에 입력한 뒤, 각 노드가 속한 로컬 서브그래프의 노드 표현을 바탕으로 마스킹된 노드 특성을 복원하는 방식이다. 이와 유사한 기법을 연결된 노드 쌍 간의 링크 복원 학습에도 적용하여, 노드 간의 쌍별 위상 정보를 보존한다. 이를 다음과 같이 부른다 FeatRec 그리고 TopoRec.
화이트닝 비상관화 동일한 서브그래프를 서로 독립적으로 증강하여 두 개의 뷰를 만들고, 두 뷰에서 동일한 노드 쌍 사이의 거리를 최소화하는 한편, 모든 노드 임베딩의 특성별 공분산이 항등 행렬이 되도록 제약을 가한다. 이를 다음과 같이 부른다 RepDecor.
상호정보 극대화 손상되지 않은 서브그래프의 그래프 수준 표현과 그 내부 노드 표현들 사이의 거리를 최소화하고, 동시에 그 그래프 수준 표현과 손상된 노드 표현들 사이의 거리를 최대화함으로써 로컬–글로벌 상호정보를 극대화하는 방법이다. 동일한 절차를 서브그래프의 서로 다른 뷰에도 적용한다. 이를 다음과 같이 부른다 MI-NG 그리고 MI-NSG.

코드

class GraphEncoder(torch.nn.Module):
    ... 
    def p_ming(self, graph, feat, cor_feat):
        positive = self.big_model(graph, feat)
        negative = self.big_model(graph, cor_feat)

        summary = torch.sigmoid(positive.mean(dim=0)) 
        positive = self.discriminator(positive, summary)
        negative = self.discriminator(negative, summary)
        l1 = F.binary_cross_entropy(torch.sigmoid(positive), torch.ones_like(positive))
        l2 = F.binary_cross_entropy(torch.sigmoid(negative), torch.zeros_like(negative))
        return l1 + l2

요약