目次

ハイパーパラメータチューニング実験

グリッドサーチ
ベイズ探索
集団ベーストレーニング

Ray TuneとW&B

レイ・チューンの実装を提供します。最先端のハイパーパラメータ調整アルゴリズムをスケーリングする
実験は簡単に拡大できます。ノートパソコンからGPU搭載のサーバーへコードを変更せずに
実験は可能です並列化された2行のコードでGPU間の
でW&B実験追跡、すべての統計を一か所にまとめて、有用な推論を行うことができます。
使用W&BとRay Tune進行状況を失うことはありません。

W&Bトラッキングを有効にする

合格できます。WandbLoggerロガーとして呼び出すときtune.runこれはTuneに報告されたすべての指標を追跡します。
使用できます@wandb_mixinデコレーターと呼び出しwandb.log目的の指標を追跡します。Tuneは渡された情報を使用してW&Bランを初期化します。config辞書。

     config = {
       ....
          "wandb":{
            "project": "Project_name",
            "api_key": #Your W&B API KEY,
            #Additional wandb.init() parameters
        }
}

グリッドサーチ（ベースライン）：

{
  "per_gpu_batch_size": [16, 32],
  "learning_rate": [2e-5, 3e-5, 5e-5],
  "num_epochs": [2, 3, 4]
}

analysis = tune.run(
    ...
    resources_per_trial={'gpu': #num_gpu,
      'cpu': #num_cpu }, # Tune will use this information to parallelize the tuning operation
    config=config
    ...
)

非同期ハイパーオプトによるベイズ探索



{
  "per_gpu_batch_size": (16, 64),
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "warmup_steps": (0, 500),
  "num_epochs": (2, 5)
}

集団ベーストレーニング



与えられた時間ステップ（またはイテレーション）Tに対して、いくつかのサンプルのハイパーパラメータ最適化プロセスを実行します。
すべてのT反復の後に、実行を比較し、良好な成績を収めた実行の重みを悪い成績を収めた実行にコピーし、それらのハイパーパラメータ値をうまくいった実行の値に近づけるように変更します。
最もパフォーマンスの悪い実行を終了します。 アルゴリズムのアイデアは単純に見えますが、これをゼロから構築するには多くの複雑な最適化数学が必要です。Tuneは、SOTA PBTアルゴリズムのスケーラブルで使いやすい実装を提供します。

{
  "per_gpu_batch_size": [16, 32, 64],
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "num_epochs": [2, 3, 4, 5]
}

勝者: 我々のHugging Faceモデルの人口に基づくトレーニング

ベイズ最適化による局所解の回避：ベイズ最適化法を使用する際には、初期の「ランダム推測」のセットを提供することが重要です。直感的には、これによりベイズ最適化が開始するためのより情報量の多い事前分布を提供できます。そうしないと、オプティマイザーが近視眼的になり、少数のサンプルに適合しすぎる可能性があります。
反復時間を短縮することは非常に重要です。常にすべてのマシンのコンピューティングリソースを利用してください。並行して実行できるものは何でも並行して実行するべきです。
PBTの摂動・変異間隔の調整:PBTでは、重要な考慮事項は摂動間隔、すなわちハイパーパラメータを活用および探索する頻度です。私たちの実験では、この突然変��を各エポックごとに行いました。しかし、これをあまり頻繁に行うと、モデルのパフォーマンスがわずか数バッチステップのトレーニングでは不安定になるため、逆効果になります。
ランダムシードも私たちの精度結果に影響します。上記のハイパーパラメータの調整に加えて、最適なモデルを見つけるために異なるランダムシードを試すことも価値があるかもしれません。ここでは2段階のアプローチが最適に機能するでしょう。まず、多くの異なるシードで早期停止アルゴリズムを使用してトレーニングし、次に最も性能が良いシードを選択し、他のハイパーパラメータを調整するためにPopulation Based Trainingを使用します。

いくつかの最後の考え

すべての実験は8つのGPUに並列化されました。Tuneを使用して。
これらの実験拡大縮小できるコードを変更せずに。
すべての重要な指標、推論、そしてこのレポートさえも一か所で簡単に共有できます。
これらの推論は使用できますリソースを正確に定量化する適切な検索方法を使用することで保存されます。
この全体的な構造はにつながるチーム間の生産性向上