Retrosynthesis Zwischenbericht
Anlage zum Mail von Stephan an Philipp am 04.03.2022
Created on March 4|Last edited on March 4
Comment
SNN Baseline
Das sind die durchschnittlichen template bzw. retro top k (über alle k) accuracies. Man sieht, wie der Filter dem Modell (erwartungsgemäß) hilft. Ebenso sieht man, dass die Retrosynthesis Ergebnisse leicht besser sind.
Run set
2
SNN und Transformer Vergleich
Wie wir hier sehen kann der Transformer mit dem SNN nicht mithalten. Der Unterschied zwischen dem "blauen, besten" Transformer und dem "orangen, baseline" Transformer sind die Optimierungen der hyper params (siehe Mail). Ich habe ein paar wenige Modelle auch mit 1000 epochs trainiert um zu sehen, ob sich "später" noch was tut, aber nein. Je nach hyper params geht der training loss noch runter (speziell ohne dropout), aber es ändert nix am (unten dargestellten) Ergebnis.
Ganz allgemein wird das Ergebnis der Validation nach Epoche 20 nicht (signifikant) besser. Der training loss wird nach Epoche 20 geringer (siehe weiter unten). Nicht dargestellt: Der validation loss wird rasch größer (klassisches overfitting?), aber die top k Werte bleiben auf einem konstanten Niveau.
Run set
3
Transformer im Vergleich
Die nächsten Grafiken zeigen den Median und die min/max Range von 3 Ergebnissen. Ausgenommen sind die Experimente mit den Optimizern SGD und Adam, die einen völlig anderen Verlauf bzgl. training loss haben. Wir sehen speziell beim training loss, dass die hyper params Einfluss auf den Verlauf nehmen.
Run set
49
Add a comment