Skip to main content
haok
Projects
flame-moe
Run groups
ablation-1e19
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Annavettoruzzo's group workspace

Timestamps visible
2025-04-26 07:38:20
 [2025-04-26 03:38:20] iteration    21200/   21210 | consumed samples:     21708800 | elapsed time per iteration (ms): 976.5 | throughput per GPU (TFLOP/s/GPU): 47.8 | learning rate: 3.088381E-05 | global batch size:  1024 | lm loss: 3.404839E+00 | load_balancing_loss: 8.898325E-01 | loss scale: 1.0 | grad norm: 0.235 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 07:38:25
 [2025-04-26 03:38:25] iteration    21205/   21210 | consumed samples:     21713920 | elapsed time per iteration (ms): 1029.6 | throughput per GPU (TFLOP/s/GPU): 45.3 | learning rate: 3.044154E-05 | global batch size:  1024 | lm loss: 3.407758E+00 | load_balancing_loss: 8.902739E-01 | loss scale: 1.0 | grad norm: 0.219 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 07:38:30
 [2025-04-26 03:38:30] iteration    21210/   21210 | consumed samples:     21719040 | elapsed time per iteration (ms): 973.8 | throughput per GPU (TFLOP/s/GPU): 47.9 | learning rate: 3.000000E-05 | global batch size:  1024 | lm loss: 3.404638E+00 | load_balancing_loss: 8.897067E-01 | loss scale: 1.0 | grad norm: 0.215 | num zeros: 0 | number of skipped iterations:   0 | number of nan iterations:   0 |
2025-04-26 07:39:26
(min, max) time across ranks (ms):
2025-04-26 07:39:26
    evaluate .......................................: (54156.31, 54156.38)
2025-04-26 07:39:26
-------------------------------------------------------------------------------------------------------------------
2025-04-26 07:39:26
 validation loss at iteration 21210 on validation set | lm loss value: 3.399323E+00 | lm loss PPL: 2.994381E+01 |
2025-04-26 07:39:26
-------------------------------------------------------------------------------------------------------------------
2025-04-26 07:40:47
(min, max) time across ranks (ms):
2025-04-26 07:40:47
    evaluate .......................................: (80876.63, 80877.20)
2025-04-26 07:40:47
-------------------------------------------------------------------------------------------------------------
2025-04-26 07:40:47
 validation loss at iteration 21210 on test set | lm loss value: 3.398764E+00 | lm loss PPL: 2.992710E+01 |
2025-04-26 07:40:47
-------------------------------------------------------------------------------------------------------------