Skip to main content
haok
Projects
flame-moe
Run groups
flame-moe-1.7b
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Annavettoruzzo's group workspace

Timestamps visible
2025-05-08 13:34:46
 [2025-05-08 09:34:46] iteration    11015/   11029 | consumed samples:     11279360 | elapsed time per iteration (ms): 5589.0 | throughput per GPU (TFLOP/s/GPU): 121.3 | learning rate: 3.238808E-05 | global batch size:  1024 | lm loss: 2.725183E+00 | z_loss: 1.746237E-02 | load_balancing_loss: 9.544920E-01 | loss scale: 1.0 | grad norm: 0.066 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-08 13:35:15
 [2025-05-08 09:35:15] iteration    11020/   11029 | consumed samples:     11284480 | elapsed time per iteration (ms): 5789.3 | throughput per GPU (TFLOP/s/GPU): 117.1 | learning rate: 3.153278E-05 | global batch size:  1024 | lm loss: 2.728449E+00 | z_loss: 1.667521E-02 | load_balancing_loss: 9.540404E-01 | loss scale: 1.0 | grad norm: 0.064 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-08 13:35:42
 [2025-05-08 09:35:42] iteration    11025/   11029 | consumed samples:     11289600 | elapsed time per iteration (ms): 5362.4 | throughput per GPU (TFLOP/s/GPU): 126.4 | learning rate: 3.068016E-05 | global batch size:  1024 | lm loss: 2.734097E+00 | z_loss: 1.764238E-02 | load_balancing_loss: 9.533502E-01 | loss scale: 1.0 | grad norm: 0.067 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-05-08 13:38:35
(min, max) time across ranks (ms):
2025-05-08 13:38:35
    evaluate .......................................: (132328.35, 132329.71)
2025-05-08 13:38:35
-------------------------------------------------------------------------------------------------------------------
2025-05-08 13:38:35
 validation loss at iteration 11029 on validation set | lm loss value: 2.727291E+00 | lm loss PPL: 1.529141E+01 |
2025-05-08 13:38:35
-------------------------------------------------------------------------------------------------------------------
2025-05-08 13:40:57
(min, max) time across ranks (ms):
2025-05-08 13:40:57
    evaluate .......................................: (141948.00, 141948.99)
2025-05-08 13:40:57
-------------------------------------------------------------------------------------------------------------
2025-05-08 13:40:57
 validation loss at iteration 11029 on test set | lm loss value: 2.726968E+00 | lm loss PPL: 1.528646E+01 |
2025-05-08 13:40:57
-------------------------------------------------------------------------------------------------------------