Skip to main content
haok
Projects
flame-moe
Run groups
ablation-3e19
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Annavettoruzzo's group workspace

Timestamps visible
2025-04-26 15:26:54
 [2025-04-26 11:26:54] iteration    20815/   20825 | consumed samples:     21314560 | elapsed time per iteration (ms): 2275.4 | throughput per GPU (TFLOP/s/GPU): 71.0 | learning rate: 3.090039E-05 | global batch size:  1024 | lm loss: 3.047084E+00 | load_balancing_loss: 9.190704E-01 | loss scale: 1.0 | grad norm: 0.115 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 15:27:05
 [2025-04-26 11:27:05] iteration    20820/   20825 | consumed samples:     21319680 | elapsed time per iteration (ms): 2220.5 | throughput per GPU (TFLOP/s/GPU): 72.7 | learning rate: 3.044982E-05 | global batch size:  1024 | lm loss: 3.048185E+00 | load_balancing_loss: 9.193406E-01 | loss scale: 1.0 | grad norm: 0.110 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 15:27:16
 [2025-04-26 11:27:16] iteration    20825/   20825 | consumed samples:     21324800 | elapsed time per iteration (ms): 2142.0 | throughput per GPU (TFLOP/s/GPU): 75.4 | learning rate: 3.000000E-05 | global batch size:  1024 | lm loss: 3.044791E+00 | load_balancing_loss: 9.199052E-01 | loss scale: 1.0 | grad norm: 0.112 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 15:29:13
(min, max) time across ranks (ms):
2025-04-26 15:29:13
    evaluate .......................................: (112428.00, 112428.32)
2025-04-26 15:29:13
-------------------------------------------------------------------------------------------------------------------
2025-04-26 15:29:13
 validation loss at iteration 20825 on validation set | lm loss value: 3.046724E+00 | lm loss PPL: 2.104628E+01 |
2025-04-26 15:29:13
-------------------------------------------------------------------------------------------------------------------
2025-04-26 15:31:25
(min, max) time across ranks (ms):
2025-04-26 15:31:25
    evaluate .......................................: (131500.09, 131500.49)
2025-04-26 15:31:25
-------------------------------------------------------------------------------------------------------------
2025-04-26 15:31:25
 validation loss at iteration 20825 on test set | lm loss value: 3.043803E+00 | lm loss PPL: 2.098491E+01 |
2025-04-26 15:31:25
-------------------------------------------------------------------------------------------------------------