目次

ハイパーパラメータ調整実験

グリッドサーチ
ベイズ探索
人口ベースのトレーニング

Ray TuneとW&B

レイチューンの実装を提供します最新のハイパーパラメータ調整アルゴリズムでスケール可能なもの
実験は簡単に拡張できます。ノートパソコンからGPU搭載サーバーへコードを変更せずに
実験は並列化された2行のコードでGPU間に跨る
と一緒にW&B実験追跡、あなたのすべての統計を一か所に集めて、有益な推論を行うことができます。
使用Ray TuneとW&B進行状況を失うことはありません。

W&Bトラッキングを有効にする

合格できますWandbLoggerロガーとして呼び出すときtune.runこれは、Tuneに報告されたすべての指標を追跡します。
使用できます@wandb_mixin関数デコレーターと呼び出しwandb.log目的の指標を追跡します。Tuneは、渡された情報を使用してW&Bランを初期化します。config辞書。

     config = {
       ....
          "wandb":{
            "project": "Project_name",
            "api_key": #Your W&B API KEY,
            #Additional wandb.init() parameters
        }
}


グリッドサーチ（ベースライン）：

{
  "per_gpu_batch_size": [16, 32],
  "learning_rate": [2e-5, 3e-5, 5e-5],
  "num_epochs": [2, 3, 4]
}

analysis = tune.run(
    ...
    resources_per_trial={'gpu': #num_gpu,
      'cpu': #num_cpu }, # Tune will use this information to parallelize the tuning operation
    config=config
    ...
)

非同期ハイパーオプトによるベイズ探索



{
  "per_gpu_batch_size": (16, 64),
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "warmup_steps": (0, 500),
  "num_epochs": (2, 5)
}

人口ベースのトレーニング



いくつかのサンプルに対してハイパーパラメータの最適化プロセスを所定のタイムステップ（またはイテレーション）Tで実行してください。
すべてのT反復の後、実行を比較し、良好な実行の重みを悪い実行にコピーし、ハイパーパラメータの値をうまくいった実行の値に近づけて変更します。
最悪のパフォーマンスの実行を終了します。 アルゴリズムのアイデアはシンプルに見えますが、これをゼロから構築するには多くの複雑な最適化数学が必要です。Tuneは、最新のPBTアルゴリズムのスケーラブルで使いやすい実装を提供します。

{
  "per_gpu_batch_size": [16, 32, 64],
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "num_epochs": [2, 3, 4, 5]
}

受賞者: 我々のHugging Faceモデルのための人口ベーストレーニング

ベイズ最適化による局所解の回避:ベイズ最適化手法を使用する際には、「ランダムな推測」の初期セットを提供することが不可欠です。直感的には、これはベイズ最適化を開始するためのより情報量の多い事前分布を提供します。そうでなければ、最適化アルゴリズムは近視眼的になり、少数のサンプルに過適合する可能性があります。
反復時間を短縮することは非常に重要です。常にすべてのマシンのコンピューティングリソースを利用するようにしてください。並行して実行できるものはすべて並行して実行するべきです。
PBTの摂動/突然変異間隔の調整:PBTでは、重要な考慮事項は摂動間隔、つまりハイパーパラメータを活用および探索する頻度です。私たちの実験では、この変異を各エポックの後に行いました。しかし、これを頻繁に行うと、モデルのパフォーマンスがわずかなバッチステップでしか訓練されていない場合、ノイズが多くなるため逆効果です。
乱数シードも私たちの精度結果に影響します。上記のハイパーパラメータを調整することに加えて、異なるランダムシードを試して最適なモデルを見つけることも価値があります。ここでは2段階のアプローチが最適かもしれません。まず、多くの異なるシードを用いてアーリーストッピングアルゴリズムを使用し、次に最も性能の良いシードを選択して、他のハイパーパラメータを調整するために人口ベーストレーニングを使用します。

いくつかの最終的な考え

すべての実験は8 GPUに並列化される利用Tune。
これらの実験拡大または縮小できますコードを変更せずに。
私たちはすべての重要な指標、推論、さらにはこの報告書さえも一箇所に簡単に共有できます
これらの推論は使用可能ですリソースを正確に定量化する適切な検索方法を使用して保存されます。
この全体的な構造は、につながります。チーム間の生産性向上