Computer Vision handson JP
Created on March 20|Last edited on April 9
Comment
このレポートでは、W&Bを使ったコンピュータービジョンのプロセスについて説明します。また、「効果的なMLOps: モデル開発」というLLMファインチューニングの無料トレーニングコースもありますので、ぜひチェックしてみてください。
Asset to learn about Wandb
- Training video
- Youtube
- Use case
- Chatbot
- Sample code
Wandb 101: wandbへのloginとwandb.log・チームとのcollaboration方法について
1. Wandb login
2. 101 of experiment tracking and W&B dashboard
環境変数としてキーを登録すると、APIキーを毎回入力することなくログインできます。
3. Team collaboration
W&Bの実験管理は主に、entity => project => runの順序で管理されます。entityはチーム単位です。デフォルトでは個人entityとして設定されていますが、チームentityを作成し、チーム内で同じprojectを管理することもできます。ただし、個人または学術利用の場合、個人のもの以外に1つのentity にのみ参加することができます。entity の下の単位がproject です。名前が示す通り、一つのMLまたはDL project に使用してください。project 内で多くの実験を実行する必要があり、 runはproject の下で管理されます。entity とプロジェクトは手動で作成されるのに対し、 runは各実行時に自動的に作成されることに注意してください。
Hands-on with Computer vision use case
Please use V100 or A100!!!
💡
1. Data visualization (Table) and data versioning (Artifacts)
Artifacts
Artifactsを使ってデータをWandBにログしましょう。Artifactsを使用すると、データのバージョンを管理できます。
W&Bサーバー外に保存されたファイルを追跡するために、リファレンスアーティファクトを使用できます。このモードでは、アーティファクトはファイルに関するメタデータ（URL、サイズ、チェックサムなど）のみを格納し、実際のデータはシステムを離れることがありません！
その他、Artifactsについてもっと学びたい場合は、MLプロジェクトにおけるデータ管理やシンプルな実験管理を超えた次のレベルのwandbの使い方、W&Bの公式ドキュメントのArtifactsセクションをチェックしてください。
Table
wandb.Tableを使用すると、W&Bのダッシュボード上で画像を視覚化することができます。
Run set
91
2. Training (Experiment tracking)
モデルを学習し、そのプロセスをwandbでトラックしましょう。
Run: lucky-star-42
1
3. Hyper-parameter tuning (Sweep)
Please use V100 or A100!!!
💡
W&B Sweepsを使用すると、ハイパーパラメータ検索を自動化し、その実験結果を簡単に視覚化できます。ベイジアン、グリッドサーチ、ランダム検索などの人気のある検索方法から選択して、ハイパーパラメータ空間を検索します。また、Sweepsを一台以上のマシンにわたってスケールアップし、並列化することができます。
Sweep: fiupujmj 1
27
Sweep: fiupujmj 2
0
4. Share results (Reports)
5. Manage models in the team and create automated process (Model registry / Automations / Launch)
組織のモデルは、Model Registryを使用して管理できます。Model Registryからは、AutomationsとLaunchを使って自動化プロセスも開始できます！
詳しくは、公式ドキュメントを確認 or W&Bに問い合わせください！
Reference
Add a comment