PyTorchでGPUを使用する方法

目次

はじめに
GPU の利用可能性を確認する
GPUを使用する
Torch の CUDA パッケージ
メトリクス可視化付きの例
まとめ

はじめに

GPU の利用可能性を確認する

>>> import torch
>>> torch.cuda.is_available()

GPU を使うときの注意点

デフォルトではテンソルはCPU上で生成され、モデルもCPU上で初期化されます。したがって、処理をGPUで実行するよう手動で確実に移動・指定する必要があります。

>>> X_train = torch.FloatTensor([0., 1., 2.])
>>> X_train.is_cuda
False

PyTorch では、CPU 上で生成したテンソルを GPU に転送するための使いやすい API が用意されています。さらに、新たに生成されるテンソルは親テンソルと同じデバイス上に作成されます。

>>> X_train = X_train.to(device)
>>> X_train.is_cuda
True

モデルにも同じ考え方が当てはまります。

 model = MyModel(args)
 model.to(device)

したがって、データとモデルは GPU に転送する必要があります。では、具体的にはどうすればよいのでしょうか。 device？
一般的な PyTorch の作法として、たいていは次の名前の変数を初期化します。 device トレーニングに使用するデバイス（CPU または GPU）を保持する変数です。

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)

torch.cuda パッケージ

テンソルをGPU上に置きたい場合は、次を呼び出します。 .cuda()。

>>> X_train = torch.FloatTensor([0., 1., 2.])
>>> X_train = X_train.cuda() 

GPU 上にあるテンソルを CPU に移したい場合は、次を呼び出します。 .cpu()これは通常、モデルの出力（テンソル）を CPU に移すために使用されます。
現在選択されているデバイスのインデックスを取得します。

 >>> torch.cuda.current_device() # returns 0 in my case

利用可能な GPU の数を取得します。

>>> torch.cuda.device_count() # returns 1 in my case

デバイス名を取得します。

>>> torch.cuda.get_device_name(0) # good old Tesla K80

例とGPUメトリクスの可視化



まとめ

Weights & Biases を試す

下の緑色の「Run」ボタンをクリックしてください（初回の Run クリック時は、Replit がマシンを割り当てるのに約 30〜45 秒かかります）
ターミナルウィンドウの指示に従ってください（下部右側のペイン）
ターミナルウィンドウのサイズを変更できます（右下）で拡大表示できます

PyTorch に関心のある方へのおすすめ資料