PyTorchでGPUを使用する方法
PyTorchを使用したディープラーニングモデルにおけるGPUの使用に関する短いチュートリアル：利用可能性の確認から使用可能なものの可視化まで。
Created on August 1|Last edited on August 1
Comment
セクション
紹介
このレポートでは、GPUの使用方法と制御を改善するための手法を紹介します。
私たちはWeights and Biasesを使用して、GPUおよびCPUの利用率を自動的にログに記録します。これにより、多数のモデルをトレーニングする際の計算リソースの使用状況を簡単に監視できます。
GPUの利用状況を確認する
GPUにアクセスできるかを確認する最も簡単な方法は、呼び出すことです。torch.cuda.is_available()それがTrueを返す場合、そのシステムにはNvidiaドライバーが正しくインストールされています。
>>> import torch>>> torch.cuda.is_available()
GPUの注意点
- デフォルトでは、テンソルはCPUで生成されます。モデルもCPUで初期化されます。そのため、GPUを使用して操作が行われるように手動で確認する必要があります。
- PyTorchは、CPUで生成されたテンソルをGPUに転送するための簡単に使用できるAPIを提供します。幸いなことに、新しいテンソルは親テンソルと同じデバイス上で生成されます。
- 同じ論理がモデルに適用されます。
- したがって、データとモデルをGPUに転送する必要があります。さて、何がdevice？
- それは通常名前が付けられる変数を初期化する一般的なPyTorchの実践です。deviceトレーニングするデバイス（CPUまたはGPU）を保持します。
トーチCUDAパッケージ
パイトーチでは、torch.cudaパッケージはCUDAテンソルタイプを追加でサポートしており、これはCPUテンソルと同じ機能を実装しますが、計算にはGPUを利用します。
- もしテンソルをGPU上に配置したい場合は、.cuda()。
- GPU上のテンソルをCPUに移動したい場合は、呼び出すことができます。.cpu()これは通常、モデルの出力（テンソル）をCPUに移行するために使用されます。
- 現在選択されているデバイスのインデックスを取得する。
- 利用可能なGPUの数を取得します。
- デバイスの名前を取得する。
例とGPUメトリクスの可視化
Weights & Biasesを使用してモデルを追跡している場合、GPU使用率を含むすべてのシステムメトリクスが自動的に記録されます。記録された最も重要なメトリクスのいくつかは、GPUメモリの割り当て、GPU使用率、CPU使用率などです。記録されたメトリクスの完全なリストを表示できます。ここ。
以下に示すメディアパネルは、トレーニング中にW&Bによって自動的に記録されたこれらのシステムメトリクスの一部を示しています。
Run set
0
要約
この記事では、Kerasを使用して深層学習の研究にGPUを活用し、Weights and Biasesを使ってリソースの消費を監視する方法について説明しました。Lambda Labsによる素晴らしい記事をチェックしてください。追跡システム資源利用率Weights & Biasesでのトレーニング中。
Weights & Biasesを試してみてください。
Weights & Biasesは、機械学習の実験を追跡するのに役立ちます。私たちのツールを使用して、ハイパーパラメータを記録し、実行結果のメトリクスを出力し、その後視覚化および比較した結果を同僚と素早く共有してください。
指示：
- 下の緑色の「実行」ボタンをクリックしてください。（最初に「実行」をクリックすると、Replitはマシンの割り当てに約30〜45秒かかります）
- ターミ��ルウィンドウのプロンプトに従ってください。(右下のペイン)
- ターミナルウィンドウのサイズを変更できます。(右下)で拡大表示
PyTorchに興味がある方のためのおすすめの読書
PyTorch Dropout for regularization - tutorial
Learn how to regularize your PyTorch model with Dropout, complete with a code tutorial and interactive visualizations
How to save and load models in PyTorch
This article is a machine learning tutorial on how to save and load your models in PyTorch using Weights & Biases for version control.
Image Classification Using PyTorch Lightning and Weights & Biases
This article provides a practical introduction on how to use PyTorch Lightning to improve the readability and reproducibility of your PyTorch code.
Add a comment
Sadegh Pouriyan •
You imported torch and checked whether Cuda is available or not. Which version of PyTorch were you installed? GPU version or cpuonly version?
1 reply