[Japanese] How to Initialize Weights in PyTorch

トーチ.nnをインポート

クラスモデル(nn.Module):
# . . .
定義 __init__(self):
。
自身に適用し、初期重みを設定します。
ウェイトを初期化する(module)
もしモジュールが nn.Linear のインスタンスである場合：
モジュールの重みデータが平均0.0、標準偏差1.0の正規分布に従うように正規化されます。
モジュールのバイアスが存在する場合：
モジュール.バイアス.データ.ゼロ_()

重みを初期化する(モジュール):
モジュールがnn.Embeddingのインスタンスかどうかを確認します。
モジュールの重みデータが平均0.0、標準偏差1.0の正規分布に従うように正規化されます。
モジュールのpadding_idxがNoneでない場合:
モジュール.重み.データ[モジュール.パディング_インデックス].ゼロ_()
ただし、モジュールが nn.LayerNorm のインスタンスである場合:
モジュール.バイアス.データ.ゼロ_()
モジュールの重みデータに1.0を代入します。