Skip to main content
kimsehun725
Projects
my_vae
Run groups
20221017_1439
Logs
Group
Workspace
Runs
Logs
Files
Artifacts

Kimsehun725's group workspace

Timestamps visible
2022-10-17 05:39:35
HPU available: False, using: 0 HPUs
2022-10-17 05:39:43
Initializing distributed: GLOBAL_RANK: 0, MEMBER: 1/4
2022-10-17 05:39:47
----------------------------------------------------------------------------------------------------
2022-10-17 05:39:47
distributed_backend=nccl
2022-10-17 05:39:47
All distributed processes registered. Starting with 4 processes
2022-10-17 05:39:47
----------------------------------------------------------------------------------------------------
2022-10-17 05:39:55
LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [0,1,2,3]
2022-10-17 05:39:55
  | Name      | Type          | Params
2022-10-17 05:39:55
--------------------------------------------
2022-10-17 05:39:55
0 | encoder   | Conv1DEncoder | 1.8 M
2022-10-17 05:39:55
1 | fc1       | Linear        | 23.1 K
2022-10-17 05:39:55
2 | fc2       | Linear        | 23.1 K
2022-10-17 05:39:55
3 | fc3       | Linear        | 23.4 K
2022-10-17 05:39:55
4 | decoder_0 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
5 | decoder_1 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
6 | decoder_2 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
7 | decoder_3 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
8 | decoder_4 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
9 | decoder_5 | Conv1DDecoder | 1.8 M
2022-10-17 05:39:55
--------------------------------------------
2022-10-17 05:39:55
13.0 M    Trainable params
2022-10-17 05:39:55
0         Non-trainable params
2022-10-17 05:39:55
13.0 M    Total params
2022-10-17 05:39:55
51.971    Total estimated model params size (MB)
2022-10-17 05:40:06
Epoch 0:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 8/9 [00:06<00:00,  1.33it/s, loss=6.12e+03, v_num=ckrh]
2022-10-17 05:39:59
/data/group1/z44543r/vae_separation/venv/lib/python3.8/site-packages/pytorch_lightning/trainer/connectors/logger_connector/result.py:535: PossibleUserWarning: It is recommended to use `self.log('val/loss', ..., sync_dist=True)` when logging on epoch level in distributed setting to accumulate the metric across devices.
2022-10-17 05:39:59
  warning_cache.warn(
2022-10-17 05:39:59
/data/group1/z44543r/vae_separation/venv/lib/python3.8/site-packages/pytorch_lightning/trainer/trainer.py:1892: PossibleUserWarning: The number of training batches (8) is smaller than the logging interval Trainer(log_every_n_steps=50). Set a lower value for log_every_n_steps if you want to see logs for the training epoch.
2022-10-17 05:39:59
  rank_zero_warn(
2022-10-17 05:40:16
Epoch 1:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.68it/s, loss=5.47e+03, v_num=ckrh, val/loss=2.87e+3, train/loss=6.14e+3]
2022-10-17 05:40:11
/data/group1/z44543r/vae_separation/venv/lib/python3.8/site-packages/pytorch_lightning/trainer/connectors/logger_connector/result.py:535: PossibleUserWarning: It is recommended to use `self.log('train/loss', ..., sync_dist=True)` when logging on epoch level in distributed setting to accumulate the metric across devices.
2022-10-17 05:40:11
  warning_cache.warn(
2022-10-17 05:40:34
Epoch 3:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.66it/s, loss=3.79e+03, v_num=ckrh, val/loss=2.53e+3, train/loss=3.97e+3]
2022-10-17 05:40:42
Epoch 4:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.68it/s, loss=3.05e+03, v_num=ckrh, val/loss=2.51e+3, train/loss=3.18e+3]
2022-10-17 05:41:00
Epoch 6:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.73it/s, loss=1.99e+03, v_num=ckrh, val/loss=2.01e+3, train/loss=2.04e+3]
2022-10-17 05:41:08
Epoch 7:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████             | 8/9 [00:04<00:00,  1.68it/s, loss=1.79e+03, v_num=ckrh, val/loss=1.68e+3, train/loss=1.8e+3]
2022-10-17 05:41:16
Epoch 8:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████             | 8/9 [00:04<00:00,  1.68it/s, loss=1.65e+03, v_num=ckrh, val/loss=1.6e+3, train/loss=1.71e+3]
2022-10-17 05:41:26
Epoch 9:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.75it/s, loss=1.54e+03, v_num=ckrh, val/loss=1.45e+3, train/loss=1.56e+3]
2022-10-17 05:41:34
Epoch 10:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.76it/s, loss=1.45e+03, v_num=ckrh, val/loss=1.38e+3, train/loss=1.47e+3]
2022-10-17 05:41:42
Epoch 11:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 8/9 [00:04<00:00,  1.81it/s, loss=1.4e+03, v_num=ckrh, val/loss=1.3e+3, train/loss=1.4e+3]
2022-10-17 05:41:50
Epoch 12:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.76it/s, loss=1.36e+03, v_num=ckrh, val/loss=1.28e+3, train/loss=1.38e+3]
2022-10-17 05:41:50
Validation: 0it [00:00, ?it/s]
2022-10-17 05:42:06
Epoch 14:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.81it/s, loss=1.29e+03, v_num=ckrh, val/loss=1.21e+3, train/loss=1.29e+3]
2022-10-17 05:42:32
Epoch 17:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.73it/s, loss=1.22e+03, v_num=ckrh, val/loss=1.13e+3, train/loss=1.22e+3]
2022-10-17 05:42:40
Epoch 18:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.75it/s, loss=1.21e+03, v_num=ckrh, val/loss=1.12e+3, train/loss=1.2e+3]
2022-10-17 05:42:48
Epoch 19:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.73it/s, loss=1.2e+03, v_num=ckrh, val/loss=1.13e+3, train/loss=1.22e+3]
2022-10-17 05:42:56
Epoch 20:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.73it/s, loss=1.18e+03, v_num=ckrh, val/loss=1.11e+3, train/loss=1.17e+3]
2022-10-17 05:43:06
Epoch 21:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.76it/s, loss=1.17e+03, v_num=ckrh, val/loss=1.11e+3, train/loss=1.18e+3]
2022-10-17 05:43:14
Epoch 22:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.71it/s, loss=1.15e+03, v_num=ckrh, val/loss=1.06e+3, train/loss=1.15e+3]
2022-10-17 05:43:22
Epoch 23:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.75it/s, loss=1.13e+03, v_num=ckrh, val/loss=1.06e+3, train/loss=1.14e+3]
2022-10-17 05:43:30
Epoch 24:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.77it/s, loss=1.12e+03, v_num=ckrh, val/loss=1.09e+3, train/loss=1.13e+3]
2022-10-17 05:43:38
Epoch 25:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.88it/s, loss=1.12e+03, v_num=ckrh, val/loss=1.05e+3, train/loss=1.11e+3]
2022-10-17 05:43:56
Epoch 27:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 8/9 [00:04<00:00,  1.71it/s, loss=1.12e+03, v_num=ckrh, val/loss=1.02e+3, train/loss=1.1e+3]
2022-10-17 05:44:04
Epoch 28:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 8/9 [00:04<00:00,  1.78it/s, loss=1.11e+03, v_num=ckrh, val/loss=1.04e+3, train/loss=1.13e+3]
2022-10-17 05:44:12
Epoch 29:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████             | 8/9 [00:04<00:00,  1.78it/s, loss=1.1e+03, v_num=ckrh, val/loss=1.06e+3, train/loss=1.1e+3]
2022-10-17 05:44:16
Epoch 30:   0%|                                                                                                                           | 0/9 [00:00<?, ?it/s, loss=1.1e+03, v_num=ckrh, val/loss=1.05e+3, train/loss=1.09e+3]