Skip to main content
haok
Projects
flame-moe
Run groups
dense-70m
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Annavettoruzzo's group workspace

Timestamps visible
2025-05-14 20:47:14
 [2025-05-14 16:47:14] iteration     1025/    1036 | consumed samples:      1049600 | elapsed time per iteration (ms): 549.3 | throughput per GPU (TFLOP/s/GPU): 163.8 | learning rate: 5.074523E-05 | global batch size:  1024 | lm loss: 4.088931E+00 | loss scale: 1.0 | grad norm: 0.209 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-14 20:47:17
 [2025-05-14 16:47:17] iteration     1030/    1036 | consumed samples:      1054720 | elapsed time per iteration (ms): 548.9 | throughput per GPU (TFLOP/s/GPU): 163.9 | learning rate: 4.112501E-05 | global batch size:  1024 | lm loss: 4.085192E+00 | loss scale: 1.0 | grad norm: 0.201 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-14 20:47:20
 [2025-05-14 16:47:20] iteration     1035/    1036 | consumed samples:      1059840 | elapsed time per iteration (ms): 549.5 | throughput per GPU (TFLOP/s/GPU): 163.8 | learning rate: 3.182311E-05 | global batch size:  1024 | lm loss: 4.082500E+00 | loss scale: 1.0 | grad norm: 0.201 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-14 20:47:54
(min, max) time across ranks (ms):
2025-05-14 20:47:54
    evaluate .......................................: (32741.10, 32741.25)
2025-05-14 20:47:54
------------------------------------------------------------------------------------------------------------------
2025-05-14 20:47:54
 validation loss at iteration 1036 on validation set | lm loss value: 4.087062E+00 | lm loss PPL: 5.956463E+01 |
2025-05-14 20:47:54
------------------------------------------------------------------------------------------------------------------
2025-05-14 20:48:48
(min, max) time across ranks (ms):
2025-05-14 20:48:48
    evaluate .......................................: (54221.79, 54222.37)
2025-05-14 20:48:48
------------------------------------------------------------------------------------------------------------
2025-05-14 20:48:48
 validation loss at iteration 1036 on test set | lm loss value: 4.085710E+00 | lm loss PPL: 5.948416E+01 |
2025-05-14 20:48:48
------------------------------------------------------------------------------------------------------------