Open Climate Fix verbessert Solarprognosen durch Gewichtung und Verzerrung
„Wir sind immer noch ein kleines Team, das an der Entwicklung unserer Arbeitsabläufe arbeitet, und W&B war eine große Hilfe bei der Optimierung und Automatisierung vieler dieser wichtigen Prozesse.“
Jacob Bieker
Leitender Forschungsingenieur für maschinelles Lernen
Unsicherheit bei erneuerbaren Energien
Wenn ein Schneesturm aufzieht, schauen wir in der Wetter-App nach, wie viel Schnee auf uns zukommt und wann er eintreffen wird. Das Gleiche gilt nicht für die Vorhersage von Solarenergie . Wenn unerwartet Wolken aufziehen oder die Temperaturen schwanken, kann dies zu einem deutlichen Rückgang der Solarstromerzeugung führen und die Netzbetreiber sind dann gezwungen, auf fossil befeuerte Kraftwerke zurückzugreifen, um als Reserve überschüssige Energie zu erzeugen.
Open Climate Fix (OCF) mit Sitz in London ist ein gemeinnütziges Forschungs- und Entwicklungslabor, das an der Lösung genau dieses Problems arbeitet und hofft, durch den Einsatz maschinellen Lernens bessere Solarprognosen liefern zu können. Die Bewältigung einer solchen Herausforderung ist Teil der Mission der Organisation, die Kohlenstoffemissionen so schnell wie möglich zu reduzieren.
Für ein kleines Team mit unterschiedlichen Hintergründen und Erfahrungen im ML-Bereich war es von höchster Priorität, sicherzustellen, dass ihr Tech-Stack flexibel ist und einen großen Teil ihres Workflows automatisieren kann. Weights & Biases wurde für die Verwaltung des gesamten ML-Lebenszyklus entwickelt und wurde mit seinem kollaborativen Echtzeit-Arbeitsbereich, seinem robusten System zur Experimentverfolgung und seiner umfassenden Integration mit beliebten ML-Frameworks und -Tools zur Plattform der Wahl – wodurch die kollaborativen und agilen Experimente des Teams skaliert werden konnten.
Verbunden und ausgerichtet
„Die Art unserer Projekte führt oft dazu, dass Ingenieure in Silos arbeiten und ihre eigenen Experimente durchführen“, sagte Jacob Bieker, Senior Machine Learning Engineer bei OCF. „Diese isolierten ML-Bereiche erschweren den Wissensaustausch und die effektive Zusammenarbeit im Team.“
OCF wollte diese Silos aufbrechen und schneller und in größerem Umfang bessere Modelle entwickeln – und angesichts der sich rasch verschärfenden Klimakrise sind Geschwindigkeit und Wirkung von entscheidender Bedeutung. Für das Team war es von entscheidender Bedeutung, einen Weg zu finden, Erkenntnisse und Ergebnisse an einem Ort zu teilen und Einblick in die Arbeit der anderen zu gewinnen. So sollte eine Kultur des Teilens und der Ideenfindung geschaffen und gleichzeitig die Intransparenz der ML-Arbeit im gesamten Team beseitigt werden.
Weights & Biases wurde für die Teamzusammenarbeit entwickelt und vereint alles von Modellen und Pipelines bis hin zu Experimenten und Datensätzen in einem einzigen Aufzeichnungssystem für OCF. Das Team kann alle seine Experimente problemlos mit Metriken und Protokollen verfolgen und so Reproduzierbarkeit und Transparenz gewährleisten. Auf diese Weise lassen sich Probleme leicht erkennen und beheben, die Ergebnisse verschiedener Durchläufe vergleichen und beurteilen, ob das von ihnen erstellte Modell in die richtige Richtung geht oder nicht. Die Nutzung von Weights & Biases als zentrale Informationsquelle hilft dabei, die Abstimmung im Team aufrechtzuerhalten, einen Ort für die Kommunikation zu schaffen und die getroffenen Schlüsselentscheidungen zu dokumentieren.
Nahtlose Integrationen
OCF setzt bei seinen Prognosetools auf Open-Source-Technologie und ist fest davon überzeugt, dass offener Code und offene Daten für die Bewältigung der Klimaherausforderung von entscheidender Bedeutung sind. Alle vom Team trainierten Modelle werden auf HuggingFace gehostet. In Verbindung mit der Weights & Biases-Integration kann das Team Modelle schnell trainieren und überwachen, um eine vollständige Rückverfolgbarkeit und Reproduzierbarkeit zu gewährleisten, ohne die Benutzerfreundlichkeit zu beeinträchtigen.
„Bei meiner Arbeit ist jedes trainierte Modell auf HuggingFace mit einem Wandb-Lauf verknüpft, bei dem Sie das gesamte Trainingsprotokoll sehen können“, sagte James Fulton, Machine Learning Researcher bei OCF. „Wenn nach dem Erstellen eines Modells etwas passiert, können wir das Problem problemlos auf den Wandb-Lauf zurückführen, was uns Zeit bei der Fehlerbehebung spart.“
Die Zukunft ist rosig
Angesichts der Herausforderungen, die wir heute in unserer Welt bewältigen müssen, wie Klimawandel, steigender Energiebedarf und schwindende Reserven an fossilen Brennstoffen, stellt Solarenergie eine vielversprechende Lösung zur Bewältigung dieser drängenden Probleme dar. Die Arbeit des OCF-Teams ist daher umso wichtiger, da sie dazu beiträgt, die Zuverlässigkeit und Genauigkeit von Solarprognosen zu verbessern.
Um die Forschung zu beschleunigen und Modelle im großen Maßstab zu trainieren, benötigt OCF Tools, die die Zusammenarbeit optimieren, den iterativen Modellentwicklungsprozess unterstützen und den vorhandenen Technologie-Stack ergänzen können. Durch die Nutzung von Weights & Biases kann das Team Innovationen durch mehr Transparenz, Standardisierung und zentralisierte Abläufe vorantreiben.
„Wir sind immer noch ein kleines Team, das an der Entwicklung unserer Arbeitsabläufe arbeitet, und W&B war eine große Hilfe bei der Optimierung und Automatisierung vieler dieser wichtigen Prozesse“, sagte James.
