目次

ハイパーパラメータチューニング実験

グリッドサーチ
ベイズ探索
Population Based Training（PBT）

Ray Tune と W&B

Ray Tuneの実装を提供していますスケール可能な最先端のハイパーパラメータチューニングアルゴリズム
実験は簡単にスケールできます。ノートブックからGPU搭載サーバーへコードに一切変更を加えることなく
実験は並列化されたGPU 間で、わずか 2 行のコードで
〜で W&B の実験トラッキング、有用な示唆を得るための統計が一箇所にまとまります
使用 W&B と Ray Tune、進捗が失われることはありません

W&B のトラッキングを有効化

渡すことができます WandbLogger 呼び出す際のロガーとして tune.runこれは、Tune に報告されたすべてのメトリクスを記録します。
使用できます @wandb_mixin 関数デコレーターと呼び出し wandb.log 目的の指標を記録するために。 Tune は、渡された情報を用いて W&B の Run を初期化します。 config 辞書

     config = {
       ....
          "wandb":{
            "project": "Project_name",
            "api_key": #Your W&B API KEY,
            #Additional wandb.init() parameters
        }
}


グリッドサーチ（ベースライン）

{
  "per_gpu_batch_size": [16, 32],
  "learning_rate": [2e-5, 3e-5, 5e-5],
  "num_epochs": [2, 3, 4]
}

analysis = tune.run(
    ...
    resources_per_trial={'gpu': #num_gpu,
      'cpu': #num_cpu }, # Tune will use this information to parallelize the tuning operation
    config=config
    ...
)

非同期 HyperOpt によるベイズ最適化



{
  "per_gpu_batch_size": (16, 64),
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "warmup_steps": (0, 500),
  "num_epochs": (2, 5)
}

Population Based Training（PBT）



所定のタイムステップ（または反復回数）T の間、いくつかのサンプルに対してハイパーパラメータ最適化を実行します。
T 回の反復ごとに実行同士を比較し、成績の良い実行の重みを成績の悪い実行へコピーします。同時に、良好だった実行に近い値になるように後者のハイパーパラメータも更新します。
成績の最も悪い実行を終了します。 このアルゴリズムの発想自体は単純に見えますが、ゼロから構築するには多くの複雑な最適化の数学が必要になります。Tune は、最先端の PBT アルゴリズムをスケーラブルかつ使いやすい形で実装しています

{
  "per_gpu_batch_size": [16, 32, 64],
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "num_epochs": [2, 3, 4, 5]
}

勝者：Hugging Face モデルの Population Based Training（PBT）

ベイズ最適化で局所最小値を回避する方法ベイズ最適化を用いる場合、最初にランダムな推測のセットを与えることが不可欠です。直感的には、これによってベイズ最適化が出発点とする事前情報がより豊かになります。これがないと、最適化器は近視眼的になり、少数のサンプルに過度適合してしまうおそれがあります。
イテレーション時間を短縮することは非常に重要です。マシンの計算リソースは常に余すところなく活用しましょう。並列実行できるものはすべて並列で実行すべきです。
PBT における摂動（突然変異）間隔の調整PBT では、重要なポイントとして「摂動（突然変異）を行う間隔」、つまりハイパーパラメータの探索と活用をどれくらいの頻度で実施するかを考える必要があります。今回の実験では、各エポックの終了ごとにこの突然変異を適用しました。ただし、頻度が高すぎると逆効果です。バッチ数が少ない段階ではモデルの性能がノイズに左右されやすく、信頼できる指標にならないためです。
乱数シードも精度の結果に影響します。上記のハイパーパラメータ調整に加えて、ランダムシードを変えてスイープし、最良のモデルを探す価値もあります。ここでは二段構えの手法が有効でしょう。まず、早期停止アルゴリズムを使って多数のシードで学習を回し、性能の高いシードだけを選別します。次に、その選別したシードを用いながら、残りのハイパーパラメータは Population Based Training（PBT）でチューニングします。

いくつかの締めくくりの考察

すべての実験は8 基の GPU に並列化しましたTune を使うことで
これらの実験はスケールアップ／スケールダウンが可能ですコードを変更せずに
私たちはすべての重要な指標、推論結果、そしてこのレポートまでも一箇所に簡単に共有できます
これらの推論結果は、…に利用できますリソースを正確に定量化する適切な探索手法を用いることで節約できるリソースが保存されます。
この全体構成によってチーム間の生産性向上