Skip to main content

ABCI3.0性能検証

1node (8GPU)使用 バッチサイズ8(デフォルト) large, 600 iterの学習時間:6分22秒(wisteriaと同程度) GPUメモリ使用量:1GPUあたり140GBのうち24GB使用 バッチサイズ100 GPUメモリ使用量:1GPUあたり140GBのうち120GB使用 -> 学習時間2分程度で同等のval_loss達成(iter100くらいで達成)
Created on January 21|Last edited on January 21

Section 1


100200300400500Step1.522.53
100200300400500600Step1.61.82
abci3-1node-bs100-gpt2-large-lr1e-05-iter600abci3-1625-gpt2-large-lr1e-05-iter6000.00.51.01.5
Run set
2