PyTorchでGPUを使う方法

セクション一覧

イントロダクション
GPU の利用可能性を確認する
GPU を使う
torch.cuda パッケージ
メトリクスの可視化付きの例
まとめ

イントロダクション

GPU の利用可能性を確認する

>>> import torch
>>> torch.cuda.is_available()

GPU 利用時の注意点

デフォルトではテンソルはCPU上で生成されます。モデルもCPU上で初期化されます。そのため、GPUを使って処理が行われるように手動で確実に設定する必要があります。

>>> X_train = torch.FloatTensor([0., 1., 2.])
>>> X_train.is_cuda
False

PyTorchは、CPUで生成したテンソルをGPUへ転送するための使いやすいAPIを提供しています。ありがたいことに、新しく生成されるテンソルは親テンソルと同じデバイス上に生成されます。

>>> X_train = X_train.to(device)
>>> X_train.is_cuda
True

同じ考え方がモデルにも当てはまります。

 model = MyModel(args)
 model.to(device)

したがって、データとモデルはGPUに転送する必要があります。では、どうすればよいのでしょうか。 device？
一般的な PyTorch の慣習として、通常は次の名前で変数を初期化します device トレーニングに使用するデバイス（CPU または GPU）を保持します。

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)

torch.cuda パッケージ

テンソルを GPU 上に置きたい場合は、次を呼び出します .cuda()。

>>> X_train = torch.FloatTensor([0., 1., 2.])
>>> X_train = X_train.cuda() 

GPU 上にあるテンソルを CPU に移したい場合は、次を呼び出します。 .cpu()通常は、モデルの出力（テンソル）をCPUに戻すために使います。
現在選択されているデバイスのインデックスを取得します。

 >>> torch.cuda.current_device() # returns 0 in my case

利用可能なGPUの数を取得するには。

>>> torch.cuda.device_count() # returns 1 in my case

デバイス名を取得するには。

>>> torch.cuda.get_device_name(0) # good old Tesla K80

例とGPUメトリクスの可視化



まとめ

Weights & Biases を試す

下の緑色の「Run」ボタンをクリックしてください初回に実行をクリックすると、Replit がマシンを割り当てるまで約30〜45秒かかります。
ターミナルウィンドウの指示に従ってください（右下のペイン）
ターミナルウィンドウのサイズを変更できます（右下）拡大表示用

PyTorch に関心のある方へのおすすめ読み物