アイシュ・タクールによる「PyTorchでGPUを使用する方法」のコピー
ディープラーニングモデルでGPUを使用するための短いチュートリアル：利用可能かどうかの確認から、使用可能なものの視覚化まで。
Created on August 5|Last edited on August 5
Comment
セクション
紹介
このレポートでは、GPUを使用し、より制御する方法について説明します。
Weights and Biasesを使用すると、すべてのGPUおよびCPU使用率メトリクスを自動的にログできます。これにより、多くのモデルをトレーニングする際の計算リソースの使用状況を簡単に監視できます。
GPUの在庫を確認してください。
GPUにアクセスできるかどうかを確認する最も簡単な方法は、次の操作を実行することです。torch.cuda.is_available()それがTrueを返す場合、システムにNvidiaドライバーが正しくインストールされていることを意味します。
>>> import torch>>> torch.cuda.is_available()
GPUの使用時の注意点
- デフォルトでは、テンソルはCPUで生成されます。モデルもCPUで初期化されます。そのため、GPUを使用して操作を行うことを手動で確認する必要があります。
- PyTorchは、CPUで生成されたテンソルをGPUに転送するための使いやすいAPIを提供しています。幸いにも、新しいテンソルは親テンソルと同じデバイス上で生成されます。
- 同じ論理がモデルにも当てはまります。
- したがって、データとモデルはGPUに転送する必要があります。さて、何がdevice?
- 通常、PyTorchでは変数を初期化する際に、deviceデバイスを保持するもの（CPUまたはGPU）トレーニングします。
トーチCUDAパッケージ
パイトーチでは、torch.cudaパッケージにはCUDAテンソルタイプの追加サポートがあり、これはCPUテンソルと同じ機能を実装しますが、計算にGPUを利用します。
- もしテンソルをGPU上に配置したい場合は、呼び出すことができます。.cuda()。
- GPUにあるテンソルをCPUに移動したい場合は、呼び出すことができます。.cpu()通常、モデルの出力（テンソル）をCPUに移すために使用されます。
- 現在選択されているデバイスのインデックスを取得するには。
- 使用可能なGPUの数を取得する。
- デバイスの名前を取得するには。
例とGPUメトリクスの可視化
Weights & Biasesを使用してモデルを追跡している場合、GPU使用率を含むすべてのシステムメトリクスが自動的に記録されます。記録される最も重要なメトリクスには、GPUメモリ割り当て、GPU使用率、CPU使用率などがあります。記録されたメトリクスの完全なリストを確認することができます。ここ。
下に表示されているメディアパネルには、トレーニング中にW&Bによって自動的に記録されたこれらのシステムメトリクスの一部が表示されています。
Run set
0
要約
この記事では、Kerasを使用してディープラーニング研究にGPUを活用し、Weights and Biasesを使用してリソース消費を監視する方法を学びました。Lambda Labsによる素晴らしい記事をご覧ください。トラッキングシステムのリソース活用Weights & Biasesを使用したトレーニング中。
Weights & Biasesを試してください。
Weights & Biasesは、機械学習の実験を記録するのに役立ちます。私たちのツールを試して、ハイパーパラメータをログし、実行からの出力メトリクス、その後、結果を視覚化して比較し、同僚と学びを素早く共有しましょう。
指示:
- 下の緑の「実行」ボタンをクリックしてください。初めて実行をクリックすると、Replitがマシンを割り当てるのに約30〜45秒かかります。
- ターミナルウィンドウのプロンプトに従ってください。（右下のペイン）
- ターミナルウィンドウのサイズを変更できます。（右下）で拡大表示
PyTorchに興味のある人におすすめの書籍
PyTorch Dropout for regularization - tutorial
Learn how to regularize your PyTorch model with Dropout, complete with a code tutorial and interactive visualizations
How to save and load models in PyTorch
This article is a machine learning tutorial on how to save and load your models in PyTorch using Weights & Biases for version control.
Image Classification Using PyTorch Lightning and Weights & Biases
This article provides a practical introduction on how to use PyTorch Lightning to improve the readability and reproducibility of your PyTorch code.
Add a comment
Sadegh Pouriyan •
You imported torch and checked whether Cuda is available or not. Which version of PyTorch were you installed? GPU version or cpuonly version?
1 reply