LaTeX-OCR Training Ver.4
Sau kết quả training một vài lần trước đạt mức khá ổn, tuy nhiên ở phần này sẽ fine-tune lại một chút thông số của model.
Created on November 16|Last edited on November 16
Comment
Data dùng để training model:
Train + Testing set: 93.519 images
Validation set: 5.000 images
Labels: 98.519 lines
Model được fine-tuned các thông số sau:
- Max dimension:
Từ 672 x 192 được upsize lên 992 x 496
Nghĩa là số lượng các positional_embedding sẽ tăng từ 505 lên tới 1922
Optimizer: AdamW với Weight decay: 0.01
Performance testing on 5000 images randomly picked
Các thông số được kỳ vọng như sau:
BLEU Score, Token Accuracy: càng cao càng tốt
Edit Distance: Càng thấp càng tốt
BLEU score Edit Distance Token Accuracy
0.726 0.126 0.727
Run: im2latex_weai_ver4
1
Đây là các kết quả đo được trên dữ liệu test trong quá trình training
Cứ sau 5 lần evaluate trên validation set. Model sẽ được gọi ra để chạy trên tập test (thực chất dữ liệu trong tập test được gộp chung với tập train, tuy nhiên vì số lượng rất lớn nên vấn đề về việc seen/unseen data không đáng kể).
Đây chỉ là phiên bản "mượt hơn" của biểu đồ test phía bên dưới nhằm có cái nhìn tổng quát hơn về quá trình testing được lồng ghép vào quá trình training
Run: im2latex_weai_ver4
1
Đây là các kết quả đo được trên dữ liệu test trong quá trình training
Các phần dữ liệu bị ngắt quãng do việc cách 5 lần evaluate trên tập validation sẽ được đem đi evaluate trên tập test
Run: im2latex_weai_ver4
1
Biểu đồ thông số quá trình training:
Epochs: 23 epochs
Thời gian training thực tế: gần 3 ngày
Thời gian train liên tục: Khoảng 1h - 1h20p cho mỗi epoch, chưa tính thời gian evaluate trên tập test với 1000 images rơi vào khoảng 20p.
Run: im2latex_weai_ver4
1
Biểu đồ thông số kết quả các metrics đo được trên tập validation
Run: im2latex_weai_ver4
1
Add a comment