신경망 학습

1. 기본 신경망 구조



이는 신경망이 예측을 수행할 때 활용하는 특성(피처)의 개수를 의미합니다.
입력 벡터에는 특성 하나마다 입력 뉴런을 하나씩 둬야 합니다. 표 형태의 데이터라면, 이는 데이터셋에서 모델이 사용할 유효한 특성의 개수를 의미합니다. 이 특성들은 신중하게 선택하고, 학습 세트를 넘어 일반화되지 않아 과적합을 유발할 수 있는 패턴을 담은 특성은 제거하세요. 이미지의 경우에는 이미지의 차원을 의미합니다(MNIST의 경우 28×28 = 784).



예측하고자 하는 값의 개수입니다.
회귀: 회귀 과제의 경우 출력은 하나의 값일 수 있습니다(예: 주택 가격). 다변량 회귀에서는 예측할 값마다 뉴런을 하나씩 둡니다(예: 바운딩 박스의 경우 높이, 너비, x 좌표, y 좌표에 각각 해당하는 4개의 뉴런).
분류: 이진 분류(스팸 vs. 스팸 아님)에서는 양성 클래스의 확률을 나타내는 출력 뉴런을 1개 사용합니다. 다중 클래스 분류(예: 객체 감지에서 하나의 인스턴스를 자동차, 개, 집 등으로 분류하는 경우)에서는 클래스마다 출력 뉴런을 하나씩 두고, 출력 층에 Softmax 활성화 함수를 사용해 최종 확률의 합이 1이 되도록 합니다.

은닉층과 층당 은닉 뉴런 수

은닉층의 개수는 문제의 특성과 신경망 아키텍처에 크게 좌우됩니다. 핵심은 너무 크지도 작지도 않은, 딱 알맞은 신경망 아키텍처를 찾아가는 것입니다.
일반적으로 대부분의 문제에는 은닉층 1–5개면 충분합니다. 이미지나 음성 데이터를 다룰 때는 완전연결층만으로 구성되지 않을 수 있으며, 수십에서 수백 개의 층을 갖는 네트워크가 필요합니다. 이러한 경우에는 YOLO, ResNet, VGG 같은 사전 학습된 모델을 활용해 네트워크의 큰 부분을 그대로 사용하고, 그 위에 자신의 모델을 얹어 고차원 특성만 학습하도록 훈련할 수 있습니다. 이때도 실제로 학습해야 하는 층의 수는 소수에 불과합니다.
일반적으로 모든 은닉층에 동일한 수의 뉴런을 사용하는 것으로 충분합니다. 다만 일부 데이터셋에서는 첫 번째 층을 크게 두고 그 뒤를 더 작은 층들로 이어 붙이는 편이 더 좋은 성능을 내기도 합니다. 첫 번째 층이 다양한 저수준 특성을 많이 학습하고, 이후 층들에서 이들을 결합해 소수의 고차원 특성으로 추상화해 전달할 수 있기 때문입니다.



일반적으로 각 층의 뉴런 수를 늘리는 것보다 층을 더 추가하는 것이 성능 향상에 더 도움이 됩니다.
처음에는 층 1–5개, 뉴런 1–100개로 시작한 뒤 과적합이 시작될 때까지 층과 뉴런을 서서히 늘려 보세요. 손실과 정확도는 다음과 같이 추적할 수 있습니다 Weights & Biases 대시보드에서 어떤 은닉층과 은닉 뉴런 조합이 최적의 손실을 내는지 확인하세요.
층/뉴런 수를 너무 작게 선택하면 데이터의 근본적인 패턴을 학습하지 못해 모델이 무용지물이 될 수 있다는 점을 유의하세요. 이를 방지하는 한 가지 방법은 은닉층과 은닉 뉴런을 매우 크게 시작한 뒤, 드롭아웃과 얼리 스토핑을 사용해 신경망이 스스로 적절한 크기로 줄어들도록 하는 것입니다. 다시 말해, 몇 가지 조합을 시도해 보고 성능을 다음에서 추적해 보시길 권장합니다 Weights & Biases 대시보드에서 내 문제에 가장 적합한 네트워크 크기를 결정하세요.
Andrej Karpathy도 다음을 권장합니다 과적합 후 정규화 접근법 – “먼저 과적합이 가능할 만큼 충분히 큰 모델을 만들고(즉, 학습 손실에 집중한 뒤) 그다음 적절히 정규화하여(일부 학습 손실을 감수하더라도 검증 손실을 개선하도록) 조정하라.”

손실 함수



회귀: 이상치가 상당히 많지 않다면 평균제곱오차가 가장 일반적으로 최적화에 사용하는 손실 함수입니다. 이상치가 많은 경우에는 평균절대오차 또는 후버 손실.
분류: 교차 엔트로피 대부분의 경우에 잘 통할 것입니다.

배치 크기

큰 배치 크기는 GPU의 연산력을 활용해 더 많은 학습 샘플을 동시에 처리할 수 있으므로 유리할 수 있습니다. OpenAI는 이미지 분류와 언어 모델링에서는 수만 단위, 강화학습 에이전트의 경우에는 수백만 단위의 대규모 배치가 스케일링과 병렬화에 효과적임을 확인했습니다.
반대로, 더 작은 배치 크기를 써야 할 이유도 있습니다. 이에 따르면 이 논문 Masters와 Luschi에 따르면, 대규모 배치를 사용해 병렬성을 높여 얻는 이점은, 소규모 배치가 제공하는 더 나은 일반화 성능과 더 작은 메모리 사용량에 의해 상쇄됩니다. 그들은 배치 크기가 커질수록 안정적으로 수렴하는 학습률의 허용 범위가 좁아진다는 것을 보여줍니다. 결론적으로, 더 작은 배치가 실제로 더 낫고, 미니배치 크기는 2에서 32 사이에서 최상의 성능을 보인다고 합니다.
대규모 스케일이 아니라면, 먼저 작은 배치 크기부터 시작해 점진적으로 늘리면서 성능을 모니터링할 것을 권합니다. Weights & Biases 대시보드에서 최적의 적합을 판단하세요.

에포크 수

에포크 수는 크게 잡고 시작한 뒤, 성능 개선이 멈추면 학습을 중단하도록 Early Stopping을 사용하는 것을 권장합니다(4. 소실·폭주 그래디언트 참고).

특성 스케일링



간단한 메모: 신경망의 입력으로 사용하기 전에 모든 특성의 스케일을 비슷하게 맞추세요. 이렇게 하면 수렴 속도가 빨라집니다. 특성들의 스케일이 서로 다르면(예: 급여는 천 단위, 경력 연수는 십 단위) 비용 함수가 왼쪽 그림처럼 길게 늘어진 그릇 모양이 됩니다. 이 경우 정규화된 특성(오른쪽)을 사용할 때에 비해 최적화 알고리즘이 골짜기를 따라 이동하는 데 훨씬 더 오래 걸립니다.

2. 학습률



학습률 선택은 매우 중요하며, 꼭 올바르게 설정해야 합니다! 이상적으로는 네트워크의 다른 하이퍼파라미터를 조정할 때마다 학습률도 함께 다시 조정하는 것이 좋습니다.
최적의 학습률을 찾으려면 매우 작은 값(1e-6)에서 시작해 일정한 상수로 천천히 곱해 가며 매우 큰 값(예: 10)까지 올리세요. 이 과정에서 모델 성능을 학습률의 로그 값에 대비해 측정하여 Weights & Biases 대시보드에서 어떤 학습률이 문제에 가장 잘 맞았는지 확인하세요. 그런 다음 이 최적의 학습률로 모델을 다시 학습하면 됩니다.
최적의 학습률은 보통 모델이 발산하기 시작하는 학습률의 절반 정도입니다. 동봉된 코드에서 learn_rate 값을 다양하게 설정해 보며 성능 변화를 관찰하고, 이를 통해 학습률에 대한 직관을 키워 보세요.
저는 또한 사용하는 것을 추천합니다 학습률 파인더 Leslie Smith가 제안한 방법입니다. 대부분의 경사 최적화기(SGD 계열의 대부분 변형)에서 좋은 학습률을 찾는 훌륭한 방법이며, 대부분의 네트워크 아키텍처에서 잘 작동합니다.
또한 아래의 학습률 스케줄링 섹션을 참고하세요.

3. 모멘텀



경사 하강 아주 작은 일관된 보폭으로 지역 최소값을 향해 이동하기 때문에 기울기가 매우 작을 때는 수렴까지 시간이 오래 걸릴 수 있습니다. 반면 모멘텀은 이전 기울기를 함께 고려하여 골짜기를 더 빠르게 통과하고 지역 최소값에 갇히는 것을 피하며 수렴을 가속합니다.
일반적으로 모멘텀 값은 1에 매우 가깝게 설정하는 것이 좋습니다. 작은 데이터셋에는 0.9 정도로 시작하고, 데이터셋이 클수록 1에 더 가깝게(예: 0.999) 점진적으로 올리세요. (nesterov=True로 설정하면 현재 지점에서 몇 단계 앞의 비용 함수 기울기까지 고려하므로, 약간 더 정확하고 빠르게 수렴합니다.)

4. 기울기 소실과 폭발



사람과 마찬가지로, 모든 신경망 층이 같은 속도로 학습하는 것은 아닙니다. 따라서 역전파 알고리즘이 출력층에서 처음 층들로 오차 기울기를 전파할 때, 기울기는 점점 더 작아져 처음 층에 도달할 즈음에는 거의 무시할 만큼 미미해집니다. 이는 처음 층들의 가중치가 각 단계에서 충분히 업데이트되지 않는다는 뜻입니다.
이것이 문제입니다. 기울기 소실(비슷한 문제로 기울기 폭발이 있는데, 특정 층의 기울기가 점점 커지면서 다른 층과 달리 일부 층의 가중치가 과도하게 업데이트되는 현상이 발생합니다.)
기울기 소실을 완화하는 방법은 몇 가지가 있습니다. 지금부터 하나씩 살펴보겠습니다!

활성화 함수

신경망의 과적합을 줄이기: RReLU
런타임 지연 시간 줄이기: Leaky ReLU
거대한 학습 데이터셋용: PReLU
빠른 추론 시간용: Leaky ReLU
네트워크가 자동 정규화를 하지 않는 경우: ELU
전반적으로 견고한 활성화 함수가 필요하다면: SELU

출력층 활성화

회귀회귀 문제에서는 출력 뉴런에 활성화 함수를 사용할 필요가 없습니다. 예측값이 어떤 값이든 자유롭게 나올 수 있어야 하기 때문입니다. 다만 출력 값을 특정 구간으로 제한하고 싶다면, -1에서 1 범위에는 tanh를, 0에서 1 범위에는 로지스틱 함수를 사용할 수 있습니다. 출력이 양수만 필요할 때는 softplus 활성화 함수를 사용할 수 있습니다.
분류이진 분류에는 시그모이드 활성화 함수를 사용하여 출력이 0과 1 사이가 되도록 하세요. 다중 클래스 분류에는 softmax를 사용하여 각 클래스의 출력 확률 합이 1이 되도록 하세요.

가중치 초기화 방법

ReLU 또는 Leaky ReLU를 사용할 때는 He 초기화
SELU 또는 ELU를 사용할 때는 LeCun 초기화
softmax, 로지스틱, 또는 tanh를 사용할 때는 Glorot 초기화
대부분의 초기화 방법은 균등 분포와 정규 분포 두 가지 형태로 제공됩니다.

배치 정규화

기울기 클리핑

얼리 스토핑

5. 드롭아웃

6. 최적화 기법



7. 학습률 스케줄링



8. 몇 가지 더 알아둘 점

시도해 보세요 EfficientNet 네트워크를 최적으로 확장하기 위해서입니다.
읽기 이 논문 추가적인 학습률, 배치 크기, 모멘텀, 가중치 감쇠 기법에 대한 개요를 확인하세요.
그리고 이것 Stochastic Weight Averaging(SWA)에 관한 내용입니다. 주기적 또는 일정한 학습률을 사용하면서 SGD 경로상의 여러 지점을 평균하면 더 나은 일반화 성능을 얻을 수 있음을 보여줍니다.
Andrej Karpathy의 글을 읽어보세요 훌륭한 가이드 신경망에서 최대한의 성능을 끌어내는 방법에 관하여.

결과