ayush-thakurの「PyTorchでGPUを使用する方法」のコピー
PyTorchを使用したディープラーニングモデルにGPUを利用するための簡単なチュートリアル、利用可能性の確認から使用可能なものの可視化まで。
Created on August 5|Last edited on August 5
Comment
セクション
紹介
このレポートでは、GPUを使用し、より制御する方法について説明します。
Weights and Biasesを使用すると、すべてのGPUおよびCPU使用率メトリクスを自動的にログできます。これにより、大量のモデルをトレーニングするときに計算リソースの使用状況を簡単に監視できます。
GPUの在庫を確認する
GPUにアクセスできるかを確認する最も簡単な方法は、呼び出すことです。torch.cuda.is_available()この場合、Trueが返されたら、システムにNvidiaドライバーが正しくインストールされていることを意味します。
>>> import torch>>> torch.cuda.is_available()
GPU使用時の要注意点
- デフォルトでは、テンソルはCPU上で生成されます。モデルさえもCPU上で初期化されます。したがって、GPUを使用して操作を行うことを手動で確認する必要があります。
- PyTorchは、CPUで生成されたテンソルをGPUに転送するための使いやすいAPIを提供しています。幸いなことに、新しいテンソルは親テンソルと同じデバイスで生成されます。
- 同じ論理がモデルに適用されます。
- したがって、データとモデルをGPUに転送する必要があります。それでは、何がdevice？
- 一般的なPyTorchの慣習では、通常「」と名付けられた変数を初期化します。device私たちがトレーニングを行うデバイス（CPUまたはGPU）を保持します。
トーチCUDAパッケージ
PyTorchでは、torch.cudaパッケージにはCUDAテンソルタイプの追加サポートがあり、これはCPUテンソルと同じ機能を実装しますが、計算にはGPUを利用します。
- テンソルをGPUに置きたい場合は、呼び出すことができます。.cuda()。
- GPU上にテンソルがある場合、それをCPUに移動したいときは、次を呼び出します。.cpu()これは通常、モデルの出力（テンソル）をCPUに持ってくるために使用されます。
- 現在選択されているデバイスのインデックスを取得します。
- 利用可能なGPUの数を取得する。
- デバイスの名前を取得する。
例およびGPUメトリクスの可視化
Weights & Biasesを使用してモデルをトラッキングしている場合、GPU使用率を含むすべてのシステムメトリクスが自動的に記録されます。記録される最も重要なメトリクスの一部には、GPUメモリの割り当て、GPU使用率、CPU使用率などがあります。記録されたメトリクスの完全なリストを見ることができます。ここ。
以下に示すメディアパネルは、トレーニング中にW&Bによって自動的に記録されたシステムメトリクスの一部を示しています。
Run set
0
要約
この記事では、Kerasを使用してディープラーニング研究にGPUを活用する方法と、Weights and Biasesを使用してリソース消費を監視する方法を紹介しました。Lambda Labsによる素晴らしい記事をご覧ください。追跡システム資源利用率Weights & Biasesを使用したトレーニング中に。
Weights & Biasesを試してください。
Weights & Biasesは、機械学習の実験を追跡するのに役立ちます。 私たちのツールを使用して、ハイパーパラメータをログし、実行からのメトリクスを出力し、結果を視覚化して比較し、同僚と学びをすばやく共有しましょう。
指示:
- 下の緑色の「実行」ボタンをクリックしてください。（最初に「実行」をクリックすると、Replit がマシンを割り当てるのに約30〜45秒かかります）
- ターミナルウィンドウのプロンプトに従ってください。(右下のペイン)
- ターミナルウィンドウのサイズを変更できます。（右下）で拡大表示
PyTorchに興味のある方へのおすすめ読書
PyTorch Dropout for regularization - tutorial
Learn how to regularize your PyTorch model with Dropout, complete with a code tutorial and interactive visualizations
How to save and load models in PyTorch
This article is a machine learning tutorial on how to save and load your models in PyTorch using Weights & Biases for version control.
Image Classification Using PyTorch Lightning and Weights & Biases
This article provides a practical introduction on how to use PyTorch Lightning to improve the readability and reproducibility of your PyTorch code.
Add a comment
Sadegh Pouriyan •
You imported torch and checked whether Cuda is available or not. Which version of PyTorch were you installed? GPU version or cpuonly version?
1 reply