Skip to main content
eleutherai
Projects
pythia
Run groups
v2-12B-deduped_k54fe33b
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Atmallen8's group workspace

Timestamps visible
2023-02-23 14:21:03
No modifications detected for re-loaded extension module utils, skipping build step...
2023-02-23 14:21:03
Loading extension module utils...
2023-02-23 14:21:03
wandb: 429 encountered (Filestream rate limit exceeded, retrying in 2.08198558772958 seconds), retrying request
2023-02-23 14:21:03
Time to load utils op: 0.0013546943664550781 seconds
2023-02-23 14:21:03
NCCL version 2.14.3+cuda11.7
2023-02-23 14:21:07
[2023-02-23 14:21:05,981] [WARNING] [engine.py:1519:load_checkpoint] Unable to find latest file at /fsx/hailey/pythia/new_ckpts/pythia-v2-12b-deduped/latest, if trying to load latest checkpoint please ensure this file exists or pass an explicit checkpoint tag when loading a checkpoint.
2023-02-23 14:21:07
wandb: 429 encountered (Filestream rate limit exceeded, retrying in 2.0641014837625997 seconds), retrying request
2023-02-23 14:21:13
wandb: 429 encountered (Filestream rate limit exceeded, retrying in 4.2815432858314235 seconds), retrying request
2023-02-23 14:21:13
wandb: 429 encountered (Filestream rate limit exceeded, retrying in 9.409118613744866 seconds), retrying request
2023-02-23 14:21:55
WARNING: shuffle index length (202314856) is not equal to sample index length (202314857)
2023-02-23 14:22:17
WARNING: shuffle index length (101157427) is not equal to sample index length (101157428)
2023-02-23 14:22:39
WARNING: shuffle index length (101157427) is not equal to sample index length (101157428)
2023-02-23 14:22:39
> RANK 208 elapsed time for building blendable dataset indices: 1.24 (sec)
2023-02-23 14:22:41
> RANK 208 elapsed time for building blendable dataset indices: 0.62 (sec)
2023-02-23 14:22:41
> RANK 208 elapsed time for building blendable dataset indices: 0.62 (sec)