MLOps 소개: 초매개변수 조정

• 그리드 검색 알고리즘은 지정된 대로 하이퍼파라미터 집합의 그리드를 반복합니다.

• 그리드 탐색은 정보를 기반으로 하지 않는 탐색 알고리즘이기 때문에, 결과적인 성능은 실행에 따른 추세를 보여주지 않습니다.

• 가장 좋은 val_acc 점수는 0.9902입니다.

• 무작위 검색은 하이퍼파라미터 에포크 에 대한 전체 검색 공간에서 값을 샘플링하는 반면 , 처음 몇 번의 실험에서는 하이퍼파라미터 학습률 에 대한 전체 검색 공간을 탐색하지 않습니다 .

• 무작위 검색은 정보를 기반으로 하지 않는 검색 알고리즘이기 때문에, 결과적인 성능은 실행에 따른 추세를 보여주지 않습니다.

• 가장 좋은 val_acc 점수는 0.9868로, 그리드 탐색으로 달성한 가장 좋은 val_acc 점수(0.9902) 보다 나쁩니다 . 그 주된 이유는 learning_rate가 모델의 성능에 큰 영향을 미치고, 이 예에서 알고리즘이 제대로 샘플링하지 못했기 때문이라고 추정됩니다.

장점

단점

베이지안 최적화

입력

단계

• 1단계: 목적 함수의 확률 모델을 구축합니다. 이 확률 모델을 대리 함수라고 합니다. 대리 함수는 가우시안 프로세스[2]에서 나오며 다양한 하이퍼 매개변수 세트에 대한 ML 모델의 성능을 추정합니다.
• 2단계: 다음 하이퍼파라미터 집합은 지정된 검색 공간에서 서로게이트 함수가 최상의 성능을 달성할 것으로 예상하는 것에 따라 선택됩니다.

아래에서 볼 수 있듯이 샘플링된 하이퍼파라미터 값 세트는 그리드 탐색 알고리즘과 같이 그리드를 따르지 않습니다.

• 3단계: 선택한 하이퍼파라미터 집합과 해당 값에 대해 ML 실험을 실행하고 성능 지표를 평가하고 기록합니다.
• 4단계: 실험 후, 대리 함수는 마지막 실험 결과로 업데이트됩니다.
• 5단계: 지정된 횟수만큼 2~4단계를 반복합니다.

산출

모든 자동화된 하이퍼파라미터 최적화 알고리즘과 마찬가지로 베이지안 최적화는 가장 좋은 성능 지표와 해당 하이퍼파라미터 값을 갖는 실험을 반환합니다.

아래에서 하이퍼파라미터 최적화 알고리즘이 어떤 매개변수를 선택했는지와 그 결과 성능을 확인할 수 있습니다. 다음과 같은 관찰을 할 수 있습니다.

• 베이지안 최적화 알고리즘은 하이퍼파라미터 에포크 에 대한 전체 검색 공간에서 값을 샘플링하지만, 처음 몇 번의 실험에서는 하이퍼파라미터 학습률 에 대한 전체 검색 공간을 탐색하지 않습니다 .

• 베이지안 최적화 알고리즘은 정보를 기반으로 하는 검색 알고리즘이므로 실행을 거듭할수록 성능이 향상됩니다.

• 최상의 val_acc 점수는 0.9852로, 그리드 탐색(0.9902)과 랜덤 탐색(0.9868)으로 달성한 최상의 val_acc 점수보다 나쁩니다. 그 주된 이유는 학습 속도가 모델의 성능에 큰 영향을 미치고, 이 예에서 알고리즘이 제대로 샘플링하지 못했기 때문이라고 추정됩니다. 하지만 알고리즘이 더 나은 결과를 얻기 위해 학습 속도를 이미 낮추기 시작한 것을 알 수 있습니다 . 더 많은 실행이 주어지면 베이지안 최적화 알고리즘은 잠재적으로 더 나은 성능을 가져오는 하이퍼파라미터로 이어질 수 있습니다.

장점

• 많은 하이퍼파라미터가 있는 모델에 적합

• 정보 기반 검색: 이전 실험에서 얻은 지식을 활용하여 더 빠르게 좋은 하이퍼 매개변수 값으로 수렴할 수 있습니다.

단점

• 구현하기 어려움

• 다음에 평가할 하이퍼파라미터 세트가 이전 실험 결과에 따라 달라지기 때문에 병렬화할 수 없습니다.