조정 기울기 클리핑(Adaptive Gradient Clipping) 및 NFNets 탐색

서론

 논문| GitHub | 공식 Repo

배치 정규화(Normalization) 이야기

📌 참조: 아래의 실험 결과는 CIFAR-10 데이터세트에서 사용자 지정 신경 기반 신경망(convolutional-based neural network)을 훈련하여 생성되었습니다. 자세한 구현 내용은 링크된 colab notebook을 참조하시기 바랍니다.

배치 정규화(BN)를 통해 훈련된 모델은 더 나은 테스트 정확도와 함께 빠르게 수렴합니다.

 $Colab Notebook 해보기 →\rightarrow$

배치 정규화(BN)는 학습률이 높은 모델 훈련도 가능케 합니다.

 Colab Notebook 해보기 → 

배치 정규화(BN)를 통해 효율적으로 대규모 배치 훈련을 수행할 수 있습니다.
배치 정규화(BN)는 평균 이동(mean shift)을 제거합니다. ReLU 및 GeLU와 같은 활성화 함수(activation functions)는 비대칭이므로, 따라서 non-zero mean(비 제로 평균) 활성화를 갖습니다. 이를 통해 평균 이동(mean-shift)이 도입됩니다. 배치 정규화를 통해 각 채널의 평균 활성화(mean activation)는 현재 배치 전체에서 zero가 되어 평균 이동(mean shift)에서 제거됩니다.
배치 정규화(BN)는 regularization(정규화) 효과가 있습니다. (출처: Towards Understanding Regularization in Batch Normalization, Luo 등)
배치 정규화(BN)는 loss landscape를 원활하게 합니다. (출처: "How Does Batch Normalization Help Optimization?" by Santurkar et al.)

배치 정규화(Batch Normalization)는 메모리 오버헤드(memory overhead)를 초래합니다. (출처: In-Place Activated BatchNorm for Memory-Optimized Training of DNNs)
배치 정규화(Batch Normalization)는 일부 네트워크에서 기울기(gradient) 평가 시간을 증가시킵니다.
배치 정규화(BN)를 세심하게 사용하지 않을 경우 훈련 및 추론 스코어간 불일치가 발생합니다.
배치 정규화(BN)는 미니배치(minibatch)의 훈련 예시 간의 독립성을 깨뜨릴 수 있습니다. 또한, 이 같은 특정 문제로 인해 다음과 같은 문제가 발생할 수 있습니다:
다른 하드웨어에서 결과를 재현하기가 어렵습니다.
특히 분산 훈련(distributed training)에서 미묘한 구현 오류를 겪을 수 있습니다. 이러한 이유로 Context Encoding for Semantic Segmentation에서 Zhang 등은 동기화된 배치 정규화(Synchronized Batch Normalization)를 제안했습니다.
그리고 훈련 중에 배치 통계(batch statistics)가 계산되므로, 훈련 예시 간의 상호작용으로 볼 수 있으며, 네트워크는 특정 손실 함수를 “속일 수” 있습니다. 이는 시퀀스 모델링(sequence modeling)의 경우 주요 관심사이며, 언어 모델이 대체 노멀라이저(normalizer)를 채택하도록 한 사안이기도 합니다.
게다가, 훈련 하는 동안 배치 통계(batch statistics)에 큰 변동이 있을 경우 네트워크 또한 퇴행(degrade)합니다.

📌 참조: 아래의 실험 결과는 CIFAR-10 데이터세트에서 ResNet-20 모델을 훈련하여 생성되었습니다. 자세한 구현 내용은 링크된 Kaggle kernel을 참조하시기 바랍니다.

마지막으로, 배치 정규화(batch normalization)의 퍼포먼스는 배치 크기에 민감합니다. 아래의 평행 좌표 플롯은 최종 테스트 정확도가 배치 크기에 민감하다는 것을 나타내고 있습니다. 배치 크기 및 테스트 정확도 간에는 음의 상관관계(negative correlation)가 있습니다. (즉, 배치 크기가 크면 일반적으로 테스트 정확도가 떨어집니다).

 $Kaggle kernel 해보기→\rightarrow$

📌 참조: “대규모 배치 훈련은 고정된 에포크 버짓(epoch budget) 내에서 더 높은 정확도를 달성하지 못하며 (Smith 등, 2020), 더 적은 매개변수 업데이트에서 주어진 테스트 경과를 달성하여 여러 디바이스 간에 병렬화(parallelized)되는 경우 훈련 속도가 크게 향상됩니다.”

정규화 프리(Normalization-Free) 네트워크 지향

NF-ResNEt은 $h_{i=1} = h_i + αf_i(h_i/β_i)$, 형식의 잔여 블록(residual block)을 사용하며, 여기서:

$h_i$ ​와 ​​$h_{i+1}$ 는 $i^{th}$ 번째 각각 잔여 브랜치의 입력 및 결과 출력입니다. $h_{i+1}$​ i​​은 다음 잔여 블록에 대한 입력입니다.
$f_i$ 초기화 시 분산 보조 함수(variance preserving function)로 매개변수화(parameterized)되며 Var(fi​(z))=Var(z)를 만족합니다.
$α$ 는 각 잔여 블록(residual block) 후에 활성화의 분산이 증가하는 속도를 지정하는 스칼라입니다.
$β$ 는 $i^{th}$번째 레이어 잔여 블록(residual block)에 대한 입력의 표준편차입니다.

$\hat W$ 와 $W$는 각각 재매개변수화된(reparameterized) 가중치 및 원래의 가중치입니다.
$μ_i = (1/N) \sum_{j=1}^N W_{i,j}$ 이며,
$σ_i^2 = (1/N) \sum_{j=1}^N (W_{i, j}^2 - μ_i^2)$

📌 참조: “NF-ResNets는 배치 정규화(Batch Normalization)를 사용하는 EfficientNets와 같은 최신 네트워크의 퍼포먼스와 대등하지 않습니다.”

ResNet 대 배치(batch) 크기 32의 Cifar-10에서의 NF-ResNet

$Colab Notebook에서 NF-ResNet 훈련하기 \rightarrow$

조정 기울기 클리핑(Adaptive Gradient Clipping)

Colab Notebook 해보기 $\rightarrow$

📌 참조: “AGC 알고리즘은 기울기(gradient) $G^l$ t놈(norm) 대 레이어l의 가중치(weights) $W^l$. 놈(norm)의 비율인 $W^l$ of layer $l$, $\frac{\left\|G^{\ell}\right\|_{F}}{\left\|W^{\ell}\right\|_{F}}$ , ​​은 단일 기울기 하강 (gradient descent) 단계가 원래의 가중치 Wl를 어떻게 변화시키는지에 대한 간단한 측정치를 제공한다는 관측에서 동기를 얻었습니다.

📌팩트: “AGC를 사용하면, 더 큰 배치(batch) 크기 (4096까지) 및 RandAugment와 같은 강력한 데이터 증강과 함께 안정적으로 NF-ResNets를 훈련할 수 있습니다.”

AGC가 정규화부분군이 없는(Normalizer Free) 네트워크에 미치는 영향

배치 정규화(Batch Normalization)를 사용하는 CIFAR-10 데이터세트의 ResNet-20 아키텍처 (Colab Notebook).
배치 정규화(Batch Normalization) 없이 동일한 구성을 사용하는 ResNet-20 아키텍처 (Colab Notebook).
배치 정규화(Batch Normalization) 없이 AGC를 사용하는 ResNet-20 아키텍처 (Colab Notebook).

📌 참조: 이것은 클리핑 개수 0.01로 배치(batch) 크기 1024에서 훈련한 결과입니다.

AGC는 베이스라인(baseline)에 필적하는 모델을 생성하지 못했습니다.
AGC를 사용한 테스트의 정확도는 배치 정규화(Batch Normalization) 없이 사용한 것과 거의 동일합니다.
결과는 클리핑 계수(clipping factor) 선택과 연관성이 있습니다. 그렇긴 하나, 이 실험을 통해 많은 것을 결론 내리는 것은 좋지 않아 보입니다. 여기서 폭넓은 주장을 하기에 앞서 더 넓은 구성 공간(configuration space)을 조사하기를 강력히 추천합니다.

배치(batch) 크기 및 클리핑 계수(Clipping Factor)사이 관계

📌 참조: 아래의 실험 결과는 CIFAR-10 데이터세트에서 ResNet-20 모델을 훈련하여 생성되었습니다. 자세한 구현 내용은 링크된 Kaggle kernel을 참조하시기 바랍니다. $Kaggle Kernel 해보기\rightarrow$

NF-Net: ImageNet의 현재 SOTA

(출처)

🎉 SOTA 주의: 저희 NFNet-F1 모델은 EffNet-B7에 필적하는 정확도를 얻으면서 동시에 훈련 속도는 8.7배 더 빠릅니다. 저희 NFNet-F1 모델은 EffNet-B7과 비슷한 훈련 지연시간(training latency)을 가지지만, ImageNet에서 86% Top-1 정확도를 달성하고 있습니다.

📌 참조: NF-ResNets와 NF-Nets는 다른 아키텍처입니다.

FLOP 수
edgy/모바일 디바이스와 같은 타깃 디바이스에서의 추론 지연시간(Inference latency)
액셀러레이터에서의 훈련 지연시간(Training latency)

PyTorch Lightning을 사용하여 Colab Notebook에서 NFNet 훈련하기 $\rightarrow$

결론 및 감사의 말

Adaptive Gradient Clipping in TensorFlow, Sayak Paul.
NF-ResNets and NFNets implementation in PyTorch , Ross Wightman, timm 의 .
기타 주목할만한 몇 가지 노멀라이저-프리 네트워크(normalizer free networks) 구현: nfnets-pytorch
Sharpness Aware Minimization in TensorFlow, Sayak Paul.