신경망 학습

1. 기본 신경망 구조



이는 신경망이 예측을 수행할 때 활용하는 특성의 개수를 의미합니다.
입력 벡터에는 각 특성마다 하나의 입력 뉴런이 필요합니다. 표 형식 데이터의 경우 이는 데이터셋에서 중요한 특성의 개수를 의미합니다. 이러한 특성은 신중하게 선택하고, 학습 세트를 넘어 일반화되지 않아 과적합을 유발할 수 있는 패턴을 담은 특성은 제거하세요. 이미지의 경우에는 이미지의 차원을 의미합니다(예: MNIST는 28×28 = 784).



예측하고자 하는 값의 개수입니다.
회귀: 회귀 작업의 경우 예측 값이 하나일 수 있습니다(예: 주택 가격). 다변량 회귀에서는 예측 값 하나당 뉴런을 하나씩 둡니다(예: 바운딩 박스의 경우 높이, 너비, x좌표, y좌표에 각각 해당하는 4개의 뉴런).
분류: 이진 분류(스팸 vs. 스팸 아님)의 경우 양성 클래스를 위한 출력 뉴런을 하나 사용하며, 해당 출력은 양성 클래스의 확률을 의미합니다. 다중 클래스 분류(예: 객체 감지에서 하나의 인스턴스가 자동차, 개, 집 등으로 분류될 수 있는 경우)에서는 클래스마다 출력 뉴런을 하나씩 두고, 출력 층에 softmax 활성화 함수를 사용해 최종 확률의 합이 1이 되도록 합니다.

은닉 층과 각 은닉 층의 뉴런 수

은닉 층의 개수는 문제의 성격과 신경망 아키텍처에 크게 좌우됩니다. 핵심은 너무 크지도, 너무 작지도 않은, 딱 알맞은 신경망 아키텍처를 찾는 것입니다.
일반적으로 대부분의 문제에는 은닉 층 1~5개면 충분합니다. 이미지나 음성 데이터로 작업할 때는 수십에서 수백 개의 층이 필요한 경우가 많으며, 그중 모두가 완전 연결층일 필요는 없습니다. 이러한 용도에는 사전 학습된 모델(YOLO, ResNet, VGG)이 있어, 이들의 네트워크 상당 부분을 활용하고 그 위에 모델을 올려 고차원 특성만 학습하도록 할 수 있습니다. 이 경우에도 실제로 학습해야 하는 층 수는 소수에 그칩니다.
일반적으로 모든 은닉 층에 동일한 수의 뉴런을 두면 충분합니다. 다만 일부 데이터셋에서는 첫 번째 층을 크게 두고 그 뒤를 더 작은 층들로 이어 가는 구성이 더 나은 성능을 보이기도 합니다. 첫 번째 층이 많은 하위 수준 특성을 학습해 다음 층들의 소수 고차 특성으로 효과적으로 전달할 수 있기 때문입니다.



일반적으로 각 층의 뉴런 수를 늘리는 것보다 층을 더 추가하는 편이 성능 향상에 더 크게 기여합니다.
처음에는 1~5개의 층과 층당 1~100개의 뉴런으로 시작한 뒤, 과적합이 시작될 때까지 층과 뉴런을 천천히 늘려 가는 것을 권합니다. 손실과 정확도는 다음에서 추적할 수 있습니다. Weights & Biases 대시보드에서 어떤 은닉 층과 은닉 뉴런 조합이 최상의 손실 값을 내는지 확인하세요.
층이나 뉴런 수를 너무 적게 선택하면, 네트워크가 데이터의 근본적인 패턴을 학습하지 못해 쓸모가 없어질 수 있다는 점을 유의해야 합니다. 이를 보완하는 한 가지 방법은 은닉 층과 은닉 뉴런을 매우 크게 시작한 뒤, dropout과 early stopping을 사용해 신경망이 스스로 적절한 크기로 줄어들게 하는 것입니다. 다시 말해, 몇 가지 조합을 시도해 보고 성능을 다음에서 추적해 보세요. Weights & Biases 대시보드에서 내 문제에 딱 맞는 네트워크 규모를 판단하세요.
Andrej Karpathy도 다음을 권장합니다 과적합 후 정규화 접근법 “먼저 과적합이 가능할 만큼 충분히 큰 모델을 만들고(즉, 학습 손실에 집중한 뒤) 적절한 정규화를 적용해(일부 학습 손실을 감수하고 검증 손실을 개선하도록)라.”

손실 함수



회귀: 이상치가 많지 않다면 평균제곱오차가 가장 흔히 최적화하는 손실 함수입니다. 이상치가 상당히 많다면 평균절대오차 또는 후버 손실.
분류: 교차 엔트로피 대부분의 경우에 잘 통할 것입니다.

배치 크기

대용량 배치는 GPU의 병렬 연산 능력을 활용해 더 많은 학습 샘플을 동시에 처리할 수 있으므로 유리할 수 있습니다. OpenAI는 이미지 분류와 언어 모델링에서는 수만 개 규모, 강화학습 에이전트의 경우에는 수백만 개 규모의 큰 배치 크기가 확장성과 병렬 처리 측면에서 효과적이라는 사실을 확인했습니다.
하지만 작은 배치 크기를 선택해야 할 이유도 있습니다. 이에 따르면 이 논문 Masters와 Luschi에 따르면, 대규모 배치 실행으로 얻는 병렬성 증대의 이점은, 작은 배치가 제공하는 더 나은 일반화 성능과 더 작은 메모리 사용량으로 상쇄됩니다. 그들은 배치 크기가 커질수록 안정적으로 수렴을 보장하는 학습률의 허용 범위가 줄어든다는 점을 보여줍니다. 요지는 작을수록 실제로 더 낫다는 것입니다. 그리고 미니배치 크기는 2에서 32 사이에서 최상의 성능을 냅니다.
대규모 스케일이 아니라면, 작은 배치 크기부터 시작해 점차 늘려 가면서 성능을 모니터링할 것을 권합니다. Weights & Biases 대시보드에서 최적의 적합도를 판단하세요.

에포크 수

에포크 수는 넉넉하게 잡고, 성능 향상이 멈추면 학습을 중단하도록 Early Stopping을 사용하길 권합니다(4. 소실/폭주 그래디언트 섹션 참고).

특성 스케일링



간단히 한 가지 주의할 점: 신경망의 입력으로 사용하기 전에 모든 특성의 스케일을 비슷하게 맞추세요. 이렇게 하면 수렴 속도가 빨라집니다. 특성들의 스케일이 서로 다르면(예: 급여는 수천 단위, 경력 연수는 수십 단위) 비용 함수가 왼쪽 그림처럼 길게 늘어진 그릇 형태가 됩니다. 이 경우 정규화된 특성(오른쪽)과 비교해 최적화 알고리즘이 계곡을 가로지르는 데 훨씬 오래 걸립니다.

2. 학습률



학습률을 올바르게 설정하는 것은 매우 중요하며, 반드시 제대로 맞춰야 합니다. 이상적으로는 네트워크의 다른 하이퍼파라미터를 조정할 때마다 학습률도 함께 다시 조정하는 것이 좋습니다.
최적의 학습률을 찾으려면 매우 작은 값(예: 1e-6)에서 시작해, 상수를 곱해가며 천천히 값을 키워 매우 큰 값(예: 10)에 도달할 때까지 반복하세요. 이때 모델 성능을 학습률의 로그 값과 비교하여 측정하세요. Weights & Biases 대시보드에서 어떤 학습률이 문제에 가장 적합했는지 판단하세요. 그런 다음 이 최적의 학습률로 모델을 다시 학습시키면 됩니다.
최적의 학습률은 보통 모델이 발산하기 시작하는 학습률의 절반 정도입니다. 동봉된 코드에서 learn_rate 값을 다양하게 바꿔 보며 성능 변화를 확인해 보세요. 이렇게 하면 학습률에 대한 직관을 기르는 데 도움이 됩니다.
저는 또한 사용하는 것을 추천합니다 학습률 파인더 Leslie Smith가 제안한 방법입니다. 대부분의 경사 최적화기(SGD의 여러 변형)에서 좋은 학습률을 찾는 훌륭한 방법이며, 대부분의 네트워크 아키텍처에서 잘 작동합니다.
또한 아래의 학습률 스케줄링 섹션을 참고하세요.

3. 모멘텀



경사하강법 아주 작고 일정한 보폭으로 지역 최소점 쪽으로 이동하기 때문에, 기울기가 매우 작을 때는 수렴하는 데 시간이 오래 걸릴 수 있습니다. 반면 모멘텀은 이전 기울기들을 고려하여 계곡을 더 빠르게 지나가 수렴을 가속하고, 지역 최소값에 갇히는 것을 피합니다.
일반적으로 모멘텀 값은 1에 매우 가깝게 설정하는 것이 좋습니다. 작은 데이터셋에서는 0.9로 시작하는 것이 좋고, 데이터셋이 클수록 1에 더 가깝게(예: 0.999) 점진적으로 높이세요. (nesterov=True를 설정하면 현재 지점보다 몇 단계 앞의 비용 함수 기울기를 고려하므로, 약간 더 정확하고 빠르게 수렴합니다.)

4. 기울기 소실과 폭주



사람과 마찬가지로, 모든 신경망 층이 동일한 속도로 학습하는 것은 아닙니다. 따라서 역전파 알고리즘이 출력층에서 초기 층으로 오차 기울기를 전파할 때, 기울기는 점점 더 작아져 첫 번째 층에 도달할 즈음에는 거의 무시할 정도로 작아집니다. 이는 초기 층의 가중치가 각 단계에서 크게 업데이트되지 않는다는 뜻입니다.
이는 다음과 같은 문제입니다. 기울기 소실(유사한 문제로 기울기 폭주가 있는데, 특정 층의 기울기가 점점 커지면서 다른 층과 달리 일부 층에서 가중치가 과도하게 업데이트되는 현상을 말합니다.)
기울기 소실을 완화하는 방법은 몇 가지가 있습니다. 지금부터 차례로 살펴보겠습니다!

활성화 함수

신경망의 과적합을 완화하기: RReLU
런타임 지연 시간 줄이기: Leaky ReLU
대규모 학습 데이터셋에 적합: PReLU
빠른 추론 속도를 위해: Leaky ReLU
네트워크가 자체 정규화를 하지 못한다면: ELU
전반적으로 안정적인 활성화 함수가 필요하다면: SELU

출력층 활성화 함수

회귀회귀 문제에서는 출력 뉴런에 활성화 함수를 사용할 필요가 없습니다. 출력이 어떤 값이든 가질 수 있어야 하기 때문입니다. 다만 특정 범위로 값을 제한하고 싶다면, −1→1 범위에는 tanh를, 0→1 범위에는 로지스틱 함수를 사용할 수 있습니다. 출력이 양수만 나오길 원한다면 softplus 활성화 함수를 사용할 수 있습니다.
분류이진 분류에는 시그모이드 활성화 함수를 사용해 출력이 0과 1 사이가 되도록 하세요. 다중 클래스 분류에는 소프트맥스를 사용해 출력 확률의 합이 1이 되도록 하세요.

가중치 초기화 방법

ReLU나 Leaky ReLU를 사용할 때에는 He 초기화
SELU나 ELU를 사용할 때에는 LeCun 초기화
softmax, logistic, 또는 tanh를 사용할 때에는 Glorot 초기화
대부분의 초기화 방법은 균등 분포와 정규 분포 두 가지 형태로 제공됩니다.

배치 정규화

그래디언트 클리핑

조기 종료

5. 드롭아웃

6. 최적화 알고리즘



7. 학습률 스케줄링



8. 몇 가지 더 알아둘 점

시도해 보세요 EfficientNet 네트워크를 최적으로 확장하기 위해서입니다.
읽기 이 논문 추가적인 학습률, 배치 크기, 모멘텀, 가중치 감쇠 기법의 개요를 확인해 보세요.
그리고 이것 확률적 가중치 평균화(SWA)에 관한 내용입니다. 주기적 또는 일정한 학습률을 사용해 SGD의 경로를 따라 얻은 여러 지점을 평균하면 일반화 성능을 더 높일 수 있음을 보여줍니다.
Andrej Karpathy의 글을 읽어 보세요 훌륭한 가이드 신경망에서 최대한의 성능을 끌어내는 방법에 대해.

결과