GraphCL: 증강을 활용한 그래프 대비 학습 프레임워크

소개

목차

방법

그림 1: GraphCL 프레임워크

주어진 그래프 $\large \mathcal{G}$ 우리는 두 개의 뷰를 생성합니다 $\large \hat{\mathcal{G}_i}, \hat{\mathcal{G}_j}$ 증강을 수행함으로써. 저자들은 그래프 도메인에 따라 이러한 증강을 선택적으로 학습합니다.
이 두 개의 뷰 $\large \hat{\mathcal{G}_i}, \hat{\mathcal{G}_j}$ 그다음 그래프 인코더를 통해 전달합니다 $\large f(\cdot)$ 표현으로 이어지며 $\large h_i, h_j$이러한 그래프 인코더는 어떤 아키텍처든 사용할 수 있습니다.
이러한 표현은 그다음 프로젝션 헤드를 통해 전달됩니다 $\large g(\cdot)$ 두 개의 뷰를 생성하는 단순한 MLP 네트워크 $\large z_i, z_j$.
그다음 대조 목적함수를 적용합니다 $\large \mathcal{L} (\cdot)$ 두 개의 뷰 사이에는 정규화된 온도 조정 교차 엔트로피 손실(NT-Xent)을 목적 함수로 사용합니다.

노드 드롭핑: 임의의 그래프에서 $\large \mathcal{G}$, 무작위로 일부 노드와 그에 연결된 엣지를 “드롭”합니다.
엣지 교란 이는 그래프의 엣지를 교란하는 것을 포함합니다 $\large \mathcal{G}$ 엣지를 일정 비율로 무작위로 추가하거나 제거하여 수행합니다.
속성 마스킹: 속성 마스킹은 남아 있는 속성, 즉 주변 문맥 정보를 활용해 가려진 노드 속성을 복원하도록 모델을 유도합니다.
서브그래프 생성: 이는 무작위 보행을 수행해 원래 그래프에서 서브그래프를 생성하는 것을 포함합니다.

코드

class GraphCL(torch.nn.Module):
    ... 
    def train_step(
        self,
        augmented_views: List[torch.Tensor],
    ) -> torch.Tensor:
        """
        Perform a single training step.

        Args:
            augmented_views (List[torch.Tensor]): Views generated by performing augmentations

        Returns:
            float: Loss.
        """
        # Generate Graph Views

        ## Generating representations : intermediate_reps: List[torch.Tensor]
        intermediate_reps = self.encode(augmented_views)

        ## Generate views : reps: List[torch.Tensor]
        reps = self.projection_head(intermediate_reps)

	## Calculate Loss : loss: torch.Tensor
	loss = self.contrastive_loss(reps)

        return loss

요약