目次

ハイパーパラメータチューニング実験

グリッドサーチ
ベイズ最適化検索
Population-Based Training

Ray Tune と Weights & Biases

Ray Tuneの実装を提供しますスケール可能な最先端のハイパーパラメータチューニングアルゴリズム
実験は、単一の GPU から簡単にスケールできますノートブックからGPU搭載サーバーへコードは一切変更せずに
実験は可能であり並列化された2 行のコードで GPU 間にスケールします
〜を用いてW&B の実験トラッキングこれで、有用な示唆を得るための指標がすべて一箇所にまとまります。
使用W&B と Ray Tune の連携、進捗が失われることはありません

W&B のトラッキングを有効化する

渡すことができます WandbLogger 呼び出す際の logger として tune.runこれは、Tune に報告されたすべての指標を追跡します。
使用できます @wandb_mixin 関数デコレータと呼び出し wandb.log 目的の指標を追跡するためです。 Tune は、渡された情報を用いて W&B の run を初期化します。 config 辞書

     config = {
       ....
          "wandb":{
            "project": "Project_name",
            "api_key": #Your W&B API KEY,
            #Additional wandb.init() parameters
        }
}


グリッドサーチ（ベースライン）

{
  "per_gpu_batch_size": [16, 32],
  "learning_rate": [2e-5, 3e-5, 5e-5],
  "num_epochs": [2, 3, 4]
}

analysis = tune.run(
    ...
    resources_per_trial={'gpu': #num_gpu,
      'cpu': #num_cpu }, # Tune will use this information to parallelize the tuning operation
    config=config
    ...
)

非同期 HyperOpt を用いたベイズ最適化



{
  "per_gpu_batch_size": (16, 64),
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "warmup_steps": (0, 500),
  "num_epochs": (2, 5)
}

Population-Based Training



与えられたタイムステップ（または反復）Tに対して、いくつかのサンプルについてハイパーパラメータ最適化を実行する。
T 回ごとに実行を比較し、成績の良い実行の重みを成績の悪い実行にコピーし、そのハイパーパラメータを高成績の実行に近い値へ更新します。
成績の悪い実行を打ち切る。 アルゴリズムの発想自体はシンプルに見えますが、これを一から構築するには多くの複雑な最適化数学が必要になります。Tune は、SOTA の PBT アルゴリズムをスケーラブルかつ使いやすい形で実装しています。

{
  "per_gpu_batch_size": [16, 32, 64],
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "num_epochs": [2, 3, 4, 5]
}

結論：Hugging Face モデルの勝者は Population-Based Training（PBT）

ベイズ最適化で局所最適解を回避する方法ベイズ最適化を用いる場合、最初に「ランダムな推定値」の集合を与えることが不可欠です。直感的には、これによりベイズ最適化が出発点とする事前情報がより豊かになります。これがないと、オプティマイザは近視眼的になり、少数のサンプルに過剰適合してしまう可能性があります。
反復時間を短縮することは非常に重要です。常にマシンの計算資源を余すことなく活用してください。並列実行できる処理は、必ず並列で実行しましょう。
PBT の摂動／変異間隔の調整についてPBT では、重要な検討事項は摂動間隔、すなわちハイパーパラメータをどの頻度で「活用」と「探索」するかです。私たちの実験では、各 epoch 後にこの変異を実行しました。ただし、頻度が高すぎると逆効果になります。少ないバッチステップしか学習していない段階ではモデルの性能がノイズに左右されやすいためです。
ランダムシードも精度結果に影響します。上記のハイパーパラメータに加えて、最良のモデルを見つけるために異なる乱数シードをスイープする価値もあります。ここでは二段階のアプローチが有効です。まず、早期停止アルゴリズムを用いて多数のシードで学習し、成績の良いシードだけを選びます。次に、その選抜したシードに対して Population-Based Training（PBT）を用い、他のハイパーパラメータをチューニングします。

いくつかの最後の考察

すべての実験は8 基の GPU にまたがって並列化Tune を使用することで
これらの実験拡張にも縮小にも対応できるコードは変更しないでください。
これで必要なものはすべて揃いました重要な指標、推論結果、そしてこのレポートまで一箇所でかつ簡単に共有できます
これらの推論は次の用途に利用できますリソースを正確に定量化する適切な探索手法を用いることで節約できる時間と計算資源。
この全体構成によりチーム間の生産性向上