ayush-thakurの「PyTorchでGPUを使用する方法」のコピー
PyTorchでディープラーニングモデルを実行するためのGPUの使用に関する短いチュートリアル。利用可能性の確認から使用可能なGPUの視覚化まで。
Created on August 5|Last edited on August 5
Comment
セクション
紹介
このレポートでは、GPUを使用しよりコントロールする方法を紹介します。
Weights and Biasesを使用して、すべてのGPUおよびCPU利用メトリクスを自動的にログします。これにより、多数のモデルをトレーニングする際のコンピューティングリソース使用状況を簡単に監視できます。
GPUの在庫を確認する
GPUへのアクセスがあるかどうかを確認する最も簡単な方法は、呼び出すことです。torch.cuda.is_available()。システムにNvidiaドライバーが正しくインストールされていることを意味します。
>>> import torch>>> torch.cuda.is_available()
GPUの使用 - 注意点
- デフォルトでは、テンソルはCPU上で生成されます。モデルもCPU上で初期化されます。そのため、操作がGPUを使用して行われることを手動で確認する必要があります。
- PyTorchは、CPUで生成されたテンソルをGPUに転送するためのシンプルなAPIを提供しています。幸いなことに、新しいテンソルは親テンソルと同じデバイスで生成されます。
- 同じ論理がモデルにも当てはまります。
- そのため、データとモデルをGPUに転送する必要があります。さて、何がdevice？
- 一般的なPyTorchの慣習として、通常はという名前の変数を初期化します。deviceトレーニングしているデバイス（CPUまたはGPU）を保持します。
トーチCUDAパッケージ
パイトーチでは、torch.cudaこのパッケージにはCUDAテンソルタイプの追加サポートがあり、これらはCPUテンソルと同じ機能を実装しますが、計算にはGPUを利用します。
- テンソルをGPU上に配置したい場合は、呼び出すことができます。.cuda()。
- GPU上のテンソルをCPUに移動したい場合、呼び出すことができます。.cpu()これは通常、モデルの出力（テンソル）をCPUに持ってくるために使用されます。
- 現在選択されているデバイスのインデックスを取得する。
- 利用可能なGPUの数を取得します。
- デバイスの名前を取得するには。
例とGPUメトリクスの可視化
モデルをWeights & Biasesで追跡している場合、GPUの使用率を含むすべてのシステムメトリクスが自動的に記録されます。記録される最も重要なメトリクスの一部には、GPUメモリの割り当て、GPU使用率、CPU使用率などがあります。記録されたメトリクスの完全なリストを見ることができます。ここ。
以下に示すメディアパネルは、トレーニング中にW&Bによって自動的に記録されたこれらのシステムメトリクスの一部を示しています。
Run set
0
要約
この記事では、Kerasを使用してディープラーニング研究にGPUを活用し、Weights and Biasesを使ってリソース消費を監視する方法を見ました。Lambda Labsの素晴らしい記事をチェックしてください。追跡システム資源利用率Weights & Biasesでのトレーニング中に。
Weights & Biasesを試してみてください。
Weights & Biasesは、機械学習の実験を追跡するのに役立ちます。ツールを試して、実行からハイパーパラメータと出力メトリクスをログし、結果を視覚化して比較し、結果を同僚とすばやく共有できます。
指示:
- 以下の緑色の「実行」ボタンをクリック（最初に「実行」をクリックすると、Replitがマシンを割り当てるのに約30〜45秒かかります）
- ターミナルウィンドウのプロンプトに従ってください。(右下のペイン)
- ターミナルウィンドウのサイズを変更できます。(右下)で拡大表示
PyTorchに興味がある人におすすめの読書
PyTorch Dropout for regularization - tutorial
Learn how to regularize your PyTorch model with Dropout, complete with a code tutorial and interactive visualizations
How to save and load models in PyTorch
This article is a machine learning tutorial on how to save and load your models in PyTorch using Weights & Biases for version control.
Image Classification Using PyTorch Lightning and Weights & Biases
This article provides a practical introduction on how to use PyTorch Lightning to improve the readability and reproducibility of your PyTorch code.
Add a comment
Sadegh Pouriyan •
You imported torch and checked whether Cuda is available or not. Which version of PyTorch were you installed? GPU version or cpuonly version?
1 reply