W&B Launchのキュー設定テンプレートのご紹介
複雑な機械学習ワークフローの管理が格段に容易にする新しいLaunch機能を学びましょう
Created on January 16|Last edited on January 16
Comment
Introduction
W&B Launchは、MLエンジニアが特殊なハードウェアと強力な計算リソースを活用して、より多くの実験を実行できるようにするために開発されました。しかし、大幅にスケールアップした実験を実行するには、MLチームとMLOpsチームがモデルの設定（ハイパーパラメータとトレーニングデータ）とハードウェア要求を可能な限りシームレスに迅速に変更する必要があります。
W&B Launchのキュー設定テンプレート導入により、MLエンジニアが計算設定を簡単に変更できるようにし、MLOpsエンジニアが責任ある計算リソースの消費を保証するための安全なガードレールを管理・運用できるようにしたいと考えています。
管理者は、メモリ、GPU、実行時間などの重要なフィールドにテンプレート変数をキュー設定に追加することができます。MLエンジニアは、新しいジョブを起動するたびにこれらのフィールドを迅速に変更することができます。また、管理者はこれらのフィールドのデフォルト値、最小値、最大値を設定し、MLチームがリソースプールを効果的かつ効率的に共同で使用できるように最適化することができます。
ここでは、MLエンジニアのためのキュー許可リストの設定方法についての例を紹介します:
まず、User settingsページにアクセスし、Launch許可リスト機能フラグをオンにします。
MLOps: キュー設定
次に、MLOpsと協力してキューを設定する必要があります（この例では、Kubernetesキュー）。キュー設定を編集して、メモリ、GPU、最大実行時間などをテンプレートフィールドを追加しましょう。
メモリをリクエストする際には、単位（この場合はMi）を追加する必要があることに注意してください。また、Kubernetesコンソールで使用状況を観察するために、W&Bプロジェクトとエンティティのメタデータフィールドも追加しました。
「Parse configuration」をクリックすると、3つのテンプレートフィールドごとに下にタイルが表示されます。ここでフィールドの表示名 (display name)、最小 (min )/最大 (max) /デフォルト値 (default values)、ラベル (label) を編集します。
これらのフィールドには、作成した特定のベースイメージ、クラスター上の特定のGPUタイプ（例：A100 vs. H100）、クラウド環境でのインスタンスタイプ（例：p2.large vs. p3.2xlarge）など、文字列の列挙も含めることができます。
設定を保存しましょう。これでMLエンジニアの皆さんは、このキューにジョブを起動することで新しい体験を得ることができるでしょう。
MLエンジニア: リソースのリクエスト
このキューを選択してジョブを起動すると、先ほど設定した各フィールドが表示されます:
これで、ジョブのコンテキストとシナリオに応じて、これらのフィールドの設定要求を簡単に変更できます。制限範囲が明確に表示されているので、通常どおりジョブを送信できます。完全な設定を確認することもできますが、非管理者は生のキュー設定を編集することはできません。これにより、管理者は、設定が変更されることを心配することなく、強力な計算クラスターをチームの全員に公平かつ公正に公開できます。
W&B Launchのキュー設定テンプレートは、現在ユーザー設定の機能フラグの背後にあり、クラウド、専用クラウド、および顧客管理環境のすべてのW&Bユーザーが利用できます。オンにして自分で試してみてください。キュー設定テンプレートやLaunchドキュメントに関する質問がある場合は、お気軽にお問い合わせください。
Add a comment