ConViT: 부드러운 합성곱 귀납 편향으로 비전 트랜스포머 향상하기

논문 │ GitHub │ 모델 체크포인트 

크레딧

사전 준비 사항

소개

트랜스포머 대 합성곱—중간 지점은 있을까?

A “하이브리드” 모델 초기 층에서는 컨볼루션 층을 사용하고, 그 다음에 셀프 어텐션을 적용하는 방식입니다. Hybrid ViT, BotNet, Visformer가 이러한 접근법의 예입니다.
사용하십시오 지식 증류 컨볼루션 기반 모델을 교사 모델로 사용하여. DeiT 이러한 접근 방식을 사용한 예입니다. 다음과 같은 아키텍처들이 있습니다: CaiT 이 접근 방식을 활용해 ImageNet 상위 1개 정확도를 더 높인 사례도 있습니다. 하지만 이 접근 방식은 강력한 교사 모델의 존재에 의존하며, 이는 항상 가능한 것은 아닙니다.

핵심 기여 사항

새로운 형태의 셀프 어텐션 레이어인 게이트드 위치적 자기-어텐션(GPSA) 레이어.
ConViT는 DeiT를 능가하며 샘플 효율성도 개선합니다. (아래 그림 2)
연구진은 ConViT의 내부 작동 방식을 탐구하기 위해 소거 실험을 수행했다. 이를 통해 비전 분야에서 트랜스포머와 관련된 몇 가지 핵심 질문에 답했다.

그림 1: ConViT 아키텍처는 샘플 효율성과 파라미터 효율성 모두에서 DeiT를 능가합니다.

ConViT 아키텍처

ConViT는 기본적으로 ViT이며, 처음 10개 블록에서 SA 레이어를 합성곱 초기화를 적용한 GPSA 레이어로 대체한 모델입니다.

그림 2: ConViT 아키텍처

게이티드 포지션 셀프 어텐션(GPSA) 레이어

주의: 이 절은 수식이 조금 많습니다. 부담 없이 읽어 주세요. 저에게 연락해주세요 또는 이 보고서의 마지막에 댓글로 질문을 남겨 주세요.

👉: 이 주의(attention)에 대한 표기 때문에 혼동하지 마세요. 이는 단지 다른 표기 방식일 뿐입니다. $Attention(Q,K,V) = \frac{Softmax(QK^T)}{\sqrt{D_h}}V$

추가 위치 임베딩 셀프 어텐션 레이어를 통과하기 전에 입력 패치에 적용합니다. (식-1에서 이어짐 ViT 논문)
셀프 어텐션을 다음으로 교체 위치적 자기-어텐션(PSA), 임베딩을 사용하여 $r_{i,j}$ 패치의 $i$ 그리고 $j$.

❓: 첫 번째 부분이 콘텐츠 상호작용을, 두 번째 부분이 위치적 상호작용을 나타내는 이유를 생각해 볼 수 있을까요? 또한, 이것이 기본(Self-Attention) 층과는 어떻게 다른가요?

상대 임베딩 $r_{i,j}$ 학습 과정에서 고정되어 있으며 업데이트되지 않습니다. 이는 상대 임베딩의 개수가 패치 수에 대해 제곱으로 증가하므로, 학습해야 할 파라미터 수를 줄이기 위한 것입니다.
위치적 상호작용과 콘텐츠 상호작용 사이에 소프트맥스를 적용하는데, 두 값의 규모가 서로 다르고(콘텐츠 상호작용이 위치적 상호작용보다 훨씬 큼), 그 결과 소프트맥스 연산 이후 이 차이가 더 크게 강조됩니다.

그림 3: 게이트드 위치적 자기-어텐션

👉: 잠시 멈추고 짧은 휴식을 취한 뒤, 그림 3과 GPSA 레이어의 수학적 표현 사이의 관계를 스스로 확인해 보시길 권합니다.

요약

PyTorch에서의 ConViT

import timm 
import torch 

m = timm.create_model('convit_tiny') 
x = torch.randn(1, 3, 224, 224)
m(x).shape

>> (1, 1000)

결론