Table of Contents

ハイパーパラメータチューニング実験

グリッド検索
ベイズ検索
母集団に基づく訓練

Ray TuneとW&B

Tune は、拡張性のある最先端のハイパーパラメーターチューニングアルゴリズムの実装を提供します。
ノートパソコンからGPU搭載サーバーまで、コードを変更することなく実験を簡単に拡張することができます。
2行のコードでGPU間の実験を並列化することができます。
W&B Experiment Tracking を使用すれば、有用な推論を行うためのすべての統計情報を一箇所で得ることができます。
W&BをRay Tuneと一緒に使用することで、進捗を失うことがありません

W&B トラッキングを有効にする

tune.run を呼び出す際に、ロガーとして WandbLogger を渡すことができます。これは、Tune に報告される全てのメトリクスを追跡します。
@wandb_mixin 関数デコレータを使用して、 wandb.log を呼び出して希望のメトリクスを追跡することができます。Tune は、config ディクショナリに渡された情報を使用して W&B run を初期化します。

     config = {
       ....
          "wandb":{
            "project": "Project_name",
            "api_key": #Your W&B API KEY,
            #Additional wandb.init() parameters
        }
}


グリッド検索(ベースライン)：

{
  "per_gpu_batch_size": [16, 32],
  "learning_rate": [2e-5, 3e-5, 5e-5],
  "num_epochs": [2, 3, 4]
}

analysis = tune.run(
    ...
    resources_per_trial={'gpu': #num_gpu,
      'cpu': #num_cpu }, # Tune will use this information to parallelize the tuning operation
    config=config
    ...
)

非同期HyperOptを用いたベイズサーチ



{
  "per_gpu_batch_size": (16, 64),
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "warmup_steps": (0, 500),
  "num_epochs": (2, 5)
}

母集団に基づく訓練



与えられた時間ステップ（または反復）Tの間、いくつかのサンプルに対してハイパーパラメータ最適化処理を実行します。
T回反復するごとに、実行を比較し、パフォーマンスの良い実行の重みをパフォーマンスの悪い実行にコピーし、そのハイパーパラメーター値をパフォーマンスの良い実行の値に近くなるように変更します。
最も悪い実行を終了させます。アルゴリズムのアイデアは単純に見えるが、これをゼロから構築するためには、複雑な最適化計算がたくさんあります。Tuneは、SOTA PBTアルゴリズムのスケーラブルで使いやすい実装を提供します。

{
  "per_gpu_batch_size": [16, 32, 64],
  "weight_decay": (0, 0.3),
  "learning_rate": (1e-5, 5e-5),
  "num_epochs": [2, 3, 4, 5]
}

勝者：ハグ顔モデルの母集団に基づく訓練

ベイズ最適化でローカルミニマムを回避：ベイズ最適化でローカルミニマムを回避：ベイズ最適化手法を用いる場合、「ランダムな推測」の初期セットを提供することが不可欠です。直感的には、これはベイズ最適化を開始するためのより有益な事前情報を提供します。そうしないと、オプティマイザーは近視眼的になり、少数のサンプルに過剰に適合してしまう可能性があります。
反復時間を短縮することは超重要：マシンの計算資源をすべて活用することを常に心がけてください。並列で実行できるものは、すべて並列で実行すべきです。
PBTの摂動・突然変異間隔の調整: PBTでは、摂動間隔、つまり、どの程度の頻度でハイパーパラメータを利用し探索するかということが重要な検討事項となります。我々の実験では、毎エポック後にこの変異を行いました。しかし、これをあまりに頻繁に行うと、数バッチステップの学習だけではモデル性能がノイジーになるため、逆効果になります。
また、ランダムシードも精度の結果に影響を与えています。上記のハイパーパラメーターの調整に加えて、最適なモデルを見つけるために様々なランダムシードを掃引することも価値があるかもしれません。この場合、ここで二段階のアプローチが最適です。まず、早期停止アルゴリズムを使って多くの異なるシードに対して訓練を行い、次に最もパフォーマンスの良いシードだけを選択し、母集団ベース訓練を使って他のハイパーパラメータをチューニングします。

最終的な考察

すべての実験は、Tuneを使用して8つのGPUで並列化されています。
これらの実験は、コードを変更することなく、スケールアップまたはスケールダウンすることができます。
すべての重要な測定基準、推論、そしてこの報告書を一箇所にまとめ、簡単に共有することができます。
これらの推論は、適切な検索方法を使用することによって節約されるリソースを正確に定量化するために使用することができます。
この全体的な構造は、チーム間の生産性を高めることにつながります