Einführung in das ML Model Registry
In der sich schnell verändernden Landschaft des maschinellen Lernens, in der große Mengen leistungsstarker Modelle das Rückgrat innovativer Produktionslösungen bilden, ist eine robuste, sichere und zugängliche Infrastruktur für die Verwaltung und Organisation der Arbeit Ihrer ML-Teams von entscheidender Bedeutung .
Geben Sie das ML -Modellregister ein . Ein Modellregister ist sowohl das Verteilungszentrum als auch der zentrale Hub für ML-Teams zum Speichern, Katalogisieren, Zugreifen, Verteilen und Bereitstellen der Modelle ihres Teams und die einzige Quelle der Wahrheit für ihre Produktionsmodelle. Ein effektives Modellregister erleichtert die nahtlose Modellverwaltung durch das Teilen, Versionieren und Nachverfolgen von Modellen. Dies ermöglicht ML-Teams eine effizientere Zusammenarbeit, schnelleres Experimentieren und die sichere Bereitstellung leistungsstärkerer Modelle in der Produktion.
Für Modellentwicklungs-, Softwareentwicklungs- und MLOps-Teams ist eine einzige Einheit und ein zentrales Kollaborations-Repository ein enormer Kraftmultiplikator für ihre ML-Aktivitäten. Es ist auch eine entscheidende Komponente eines effektiven Modell-CI/CD- Workflows (Continuous Integration/Continuous Deployment).
Dies ermöglicht automatisiertes Testen, Bewerten, Bereitstellen und Überwachen von ML-Modellen. Darüber hinaus sind Modellregister von entscheidender Bedeutung, um einen sauberen Übergabepunkt zwischen ML-Engineering und DevOps zu ermöglichen und so einen kontinuierlichen Zyklus und Prozess zu schaffen.
Was ist ein Modellregister in ML?
In ML ist ein Modellregister ein zentrales Repository oder Modellspeicher, ähnlich einer Bibliothek, mit dem Sie Machine-Learning-Modelle effektiv verwalten und organisieren können. Hier werden Modelle gespeichert, verfolgt, versioniert und für jeden im Unternehmen zugänglich gemacht, der an der Bereitstellung und Verwendung von Modellen in der Produktion beteiligt ist.
Dazu gehören wahrscheinlich ML-Praktiker, Datenwissenschaftler, Softwareentwickler, Produktmanager und andere.
Das Modellregister sollte die Modellherkunft für Experimente, Modellversionsaufzeichnungen, wenn Modelle in die Produktion gebracht wurden, und Anmerkungen von Mitarbeitern bereitstellen. Es fungiert als sicheres und organisiertes Repository, auf das in Ihrer gesamten Organisation zugegriffen werden kann, und optimiert die Modellentwicklung, -bewertung und -bereitstellung.
Das Modellregister ermöglicht es dem gesamten Team außerdem, den Lebenszyklus aller Modelle in der Organisation gemeinsam zu verwalten. Ihre Datenwissenschaftler können trainierte Modelle in das Register übertragen. Sobald die Modelle im Register sind, können sie getestet, validiert, von MLOps in die Produktion gebracht und kontinuierlich ausgewertet werden. Dies ist in vielerlei Hinsicht Software-DevOps sehr ähnlich.
Schauen wir uns die Vorteile im Detail an:
Vorteile eines ML-Modellregisters
Optimieren Sie die Bereitstellung von Produktionsmodellen
Ein Machine-Learning-Modellregister rationalisiert und verbessert den komplexen Modellbereitstellungsprozess, sodass Sie bessere Modelle schneller und einfacher in die Produktion bringen können. Dies geschieht durch:
- Zentralisierung der ML-Modellverwaltung an einem Ort : Sie müssen nicht mehr herumsuchen oder fragen, um die benötigten Modelle zu finden, und sich auch nicht mehr fragen, wo die einzige zuverlässige Quelle für die Produktion ist. Mit einem Modellregister haben Sie immer die neuesten und besten Modelle zur Bereitstellung zur Hand.
- Automatisieren des Bereitstellungsprozesses : Lösen Sie automatische Auswertungsaufträge aus und integrieren Sie Ihr Modellregister mit nachgelagerten Diensten und REST-Diensten, um das Modell zu nutzen und es automatisch in der Produktionsumgebung bereitzustellen. So sparen Sie Zeit und vermeiden manuelle Fehler.
Aktivieren Sie die Produktionsmodellüberwachung
Verfolgen Sie die Leistung bereitgestellter Modelle in Echtzeit, indem das Register Echtzeit- und aggregierte Metriken zu Produktionsmodellen erfasst. Behalten Sie wichtige Metriken wie Genauigkeit, Latenz und Ressourcennutzung im Auge, um Optimierungsentscheidungen schneller treffen zu können. Verbessern Sie die Modellgenauigkeit, reduzieren Sie Datendrift und vermeiden Sie Verzerrungen, um Fairness und Qualität in der Produktion sicherzustellen.
Schaffen Sie einen kontinuierlichen Workflow
Um einen nahtlosen und automatisierten CI/CD-Workflow für Modelle zu ermöglichen, spielt das Modellregister im Kern eine wichtige Rolle. Integrieren Sie das Register mit anderen Tools, Diensten und Automatisierungen, um einen kontinuierlichen Evaluierungs- und Bereitstellungsfluss aufrechtzuerhalten und sicherzustellen, dass Sie ständig die besten Modelle in die Produktion bringen.
Verbessern Sie die Zusammenarbeit und Zentralisierung
Eine reibungslose, effiziente Zusammenarbeit ist bei der Bereitstellung von ML-Modellen in einer Produktionsumgebung von entscheidender Bedeutung. Fehler bei der Bereitstellung falscher oder veralteter Modelle können sich häufen und öffentlich auffallen. Ein Modellregister erleichtert die Teamarbeit, indem es gemeinsamen Zugriff und die Möglichkeit bietet, Feedback einzubeziehen und gemeinsam an Projekten zu arbeiten – und das alles in einer kontrollierten und organisierten Umgebung.
Gewährleisten Sie Governance und Sicherheit
Sicherheit und Governance sind im gesamten ML-Workflow wichtig, insbesondere in der Produktion. Ein Modellregister bietet robuste Sicherheitsmaßnahmen zum Schutz Ihrer Modelle und detaillierte rollenbasierte Zugriffskontrollen zum Definieren der Berechtigungen für Ihr Team.
Das Modellregister sollte auch die Dokumentation und Berichterstattung von Modellen erzwingen und sicherstellen, dass die Ergebnisse wiederholbar und reproduzierbar sind, insbesondere durch einen Prüfbenutzer. Alle diese Faktoren fördern die Einhaltung von Datenschutzbestimmungen und internen Governance-Richtlinien.
Wo passt das Model Registry in Ihren MLOps-Stapel?
Sie können sich das Modellregister als den letzten Teil des Machine-Learning-Workflows vorstellen, direkt bevor wir mit MLOps beginnen und es in Ihrer Produktionsumgebung bereitstellen:
Die Ergebnisse der Modellversuchsschritte werden in das Modellregister eingespeist, das dann Modelle in die Produktion einspeisen kann. Alle Modelle im Register sind mit ihrem entsprechenden Status (Produktion oder Challenger) gekennzeichnet und enthalten vollständige Daten und Modellherkunft.
Von dort aus können Benutzer Modellaufgaben und den Modelllebenszyklus (über die Versionskontrolle ) verwalten und Automatisierungen einrichten, um die Übertragung von Modellen in die Produktion auszulösen.
Das Modellregister lässt sich außerdem nahtlos in Bereitstellungspipelines integrieren und ermöglicht so schnelle und genaue Übergänge von Modellen von Entwicklungs- in Produktionsumgebungen. Modelle in der Produktion können auf Datendrift und -verfall überwacht und bei Bedarf zur weiteren Prüfung und Auswertung oder zur Aktualisierung von Datensätzen in das Modellregister zurückgesetzt werden.
Durch den einfachen Zugriff auf Änderungen in der Modellregistrierung bei automatischem Rollback veralteter Modelle wird sichergestellt, dass immer nur Modelle von höchster Qualität in der Produktion sind.
Das Weights & Biases-Register
Weights & Biases ist die Plattform für KI-Entwicklung und ML-Beobachtbarkeit. ML-Praktiker, MLOps-Teams und ML-Leiter in den modernsten KI- und LLM -Organisationen verlassen sich auf W&B als definitives Aufzeichnungssystem, während sie gleichzeitig die individuelle Produktivität steigern, Produktions-ML skalieren und einen optimierten CI/CD-ML-Workflow ermöglichen.
Mit über 20.000 Integrationen mit ML-Frameworks und -Bibliotheken und einem robusten Partner-Ökosystem mit allen großen Cloud- und Infrastrukturanbietern passt die W&B-Plattform nahtlos in jede Branche oder jeden Anwendungsfall und über den gesamten ML-Lebenszyklus.
Ein effektives Modellregister sollte gut in das Experimentverfolgungssystem Ihres Teams integriert sein; mit Weights & Biases können Sie beides nahtlos auf derselben Plattform tun! Tatsächlich können Sie mit Weights & Biases mehr als nur Modelle registrieren – Sie können auch den entsprechenden Datensatz (oder eigentlich jeden Datensatz) auf unserer Plattform registrieren. W&B dient bereits als Ihr Aufzeichnungssystem zur Verfolgung von Experimentläufen mit unterschiedlichen Parameterkonfigurationen und hilft umfassend bei der Modellentwicklung.
W&B Registry hilft Ihnen dabei, dies auf die nächste Ebene zu bringen, indem es diese erfolgreichen Experimente übernimmt und die trainierten, produktionsbereiten Modelle, die Ihr Team entwickelt, in diesem zentralen Repository speichert. Da alle Daten und Modellherkunft sowie andere Details zur Modellaktivität bereits aufgezeichnet sind, können Benutzer jederzeit genau das finden, wonach sie suchen.
Entdecken Sie die Vorteile des W&B-Registers
Benutzer von Weights & Biases haben festgestellt, dass es sich lohnt, W&B Registry als ihre einzige zuverlässige Informationsquelle für Produktionsmodelle und Datensätze zu etablieren und die Modellübergabe sowie CI/CD zu erleichtern. Viele Benutzer haben enorme Verbesserungen in Bezug auf Organisation und Übersichtlichkeit erwähnt. Das liegt daran, dass viele dieser Teams vor der Verwendung von W&B Registry ihre Produktionsmodelle im Kopf, in Tabellenkalkulationen oder Notizbüchern verwaltet haben. Dieser Mangel an Dokumentation oder Herkunft ist chaotisch und kann zu schlechten Ergebnissen führen, darunter verzerrte oder nicht leistungsfähige Modelle.
Ein wesentlicher Aspekt von W&B Registry ist die Möglichkeit, Modelle zu verknüpfen. Dadurch werden klare Verbindungen zwischen den Versionen des registrierten Modells und dem Quellartefakt hergestellt und umgekehrt.
W&B-Benutzer profitieren in hohem Maße von der Verknüpfung von Modellen, darunter:
Veröffentlichen produktionsreifer Modelle
Benutzer können ihre trainierten ML-Modelle aus erfolgreichen Experimenten in einem Teamregister registrieren oder hochladen. Dadurch kann das Modell im W&B-Register gespeichert und verfolgt werden, wodurch die Lücke zwischen Experiment und Produktionsaktivitäten geschlossen wird.
Lebenszyklus-ML-Modellverwaltung
Benutzer können verschiedene Versionen ihrer registrierten Modelle anzeigen und Änderungen verfolgen, während sie gleichzeitig einen aufgezeichneten Verlauf aller Modelliterationen beibehalten. Durch Hinzufügen oder Entfernen von Aliasnamen zu Modellversionen mit benutzerdefinierten Namen – wie „Kandidat“, „Staging“ und „Produktion“ – können sie die gesuchten Kandidatenversionen leicht finden, nachdem sie neue Experimente ausgeführt, vorhandene aktualisiert oder veraltete Modelle verworfen haben.
Wiederverwendbarkeit und Zusammenarbeit
Sobald ein Modell im Register veröffentlicht wurde, kann es problemlos von MLOps-Ingenieuren verwendet werden, die das Modell in der Produktion einsetzen möchten, oder von anderen ML-Anwendern, die dieses Modell in nachgelagerten Pipelines verwenden möchten. Das W&B-Register vereinfacht die Verwendung von Modellen in nachgelagerten Läufen über run.use_artifact(model) .
Governance und Zugriffskontrollen
W&B Registry bietet umfassende Prüffunktionen für alle Aktionen, die an mit dem Register verknüpften Modellversionen durchgeführt werden, mit vollständigen Aufzeichnungen der Statusübergänge von Entwicklung, Staging und Produktion bis hin zur Archivierung. Rollenbasierte Zugriffskontrollen stellen sicher, dass nur Personen mit den richtigen Zugriffsebenen Modelle in eine neue Pipeline-Phase verschieben können – auch in die Produktion.
Automatisieren Sie nachgelagerte Aktionen
Fügen Sie eine Automatisierung hinzu, um Workflow-Schritte einfach auszulösen, wenn Sie einem registrierten Modell eine neue Version hinzufügen oder einen neuen Alias hinzufügen. Webhook-Automatisierungen ermöglichen es Benutzern, nachgelagerte Aktionen wie Modelltests und Bereitstellung auf ihrer eigenen Infrastruktur mit einem einfachen Connector wie W&B Launch zu starten .
Alarmierung über Slack- oder Team-Benachrichtigungen
Benutzer können registrierte Modelle auch so konfigurieren, dass sie auf die Verknüpfung neuer Modellversionen warten und automatisch in ihrem Slack- oder Teams-Kanal benachrichtigt werden.
Erste Schritte mit dem W&B-Register
Der Einstieg in W&B Registry ist ganz einfach! Sobald Sie sich für Ihr Weights & Biases-Konto angemeldet haben , können Sie diese Schritte befolgen, um W&B Registry für die ML-Modellverwaltung zu verwenden.
1) Erstellen Sie ein neues registriertes Modell
Wir müssen ein registriertes Modell erstellen, das alle Kandidatenmodelle für Ihre Modellierungsaufgabe enthält. Sie können ein registriertes Modell interaktiv über die W&B-App erstellen (indem Sie entweder auf die Registerkarte „Modellregistrierung“ oder „ Artefaktbrowser “ klicken ) oder ein registriertes Modell programmgesteuert mit dem W&B Python SDK erstellen.
Wählen Sie Ihre Entität aus, geben Sie die Details und die entsprechenden Tags ein und schon haben Sie es: Ihr erstes registriertes Modell!
2) Modellversionen trainieren und protokollieren
Protokollieren Sie nun ein Modell aus Ihrem Trainingsskript. Sie können Ihr Modell regelmäßig (und/oder am Ende des Trainings mithilfe des von Ihrer Modellierungsbibliothek bereitgestellten Serialisierungsprozesses (z. B. PyTorch oder Keras )) auf Ihre Festplatte serialisieren.
Fügen Sie als Nächstes Ihre Modelldateien einem Modell vom Typ Artefakt hinzu. Wir empfehlen, Ihre Artefakte mit der zugehörigen Run-ID zu benennen, um die Übersicht zu behalten. Sie können Ihren Datensatz auch als Abhängigkeit deklarieren, damit er auf Reproduzierbarkeit und Überprüfbarkeit verfolgt wird.
Nachdem Sie eine oder mehrere Modellversionen protokolliert haben, wird in Ihrem Artefaktbrowser ein neues Modellartefakt angezeigt. In diesem Beispiel können Sie die Ergebnisse der Protokollierung von Versionen eines Artefakts sehen.
3) Verknüpfen Sie ML-Modellversionen mit dem registrierten Modell
Verknüpfen Sie nun die verschiedenen Modellversionen, die Sie gerade trainiert und protokolliert haben, mit dem registrierten Modell, das Sie ursprünglich erstellt haben.
Sie können dies in der W&B-App oder programmgesteuert über das Python SDK tun. Navigieren Sie dazu in der App zu der Modellversion, die Sie verknüpfen möchten, und klicken Sie auf das Link-Symbol. Sie können dann das registrierte Zielmodell auswählen, mit dem Sie diese Version verknüpfen möchten.
Sie haben auch die Möglichkeit, zusätzliche Aliase hinzuzufügen.
4) Verwenden Sie eine Modellversion
Jetzt ist es an der Zeit, das Modell zu nutzen. Vielleicht möchten Sie seine Leistung bewerten, Vorhersagen anhand eines Datensatzes treffen oder es sogar in einem Live-Produktionskontext verwenden. Verwenden Sie den folgenden Codeausschnitt, um ein Modell mit dem Python SDK zu verwenden.
5) Bewerten Sie die Modellleistung
Sie möchten die Leistung aller Modelle auswerten, die Sie trainiert haben, möglicherweise anhand eines Testdatensatzes, der nicht zum Trainieren oder Validieren verwendet wurde.
Nach Abschluss des vorherigen Schritts können Sie eine Datenabhängigkeit zu Ihren Auswertungsdaten deklarieren und Metriken, Medien, Tabellen und alles andere protokollieren, was für die Auswertung nützlich ist.
6) Eine Modellversion in die Produktion bringen
Wenn Sie mit der Bewertung Ihres Modells zufrieden sind, können Sie die Version, die Sie für die Produktion verwenden möchten, mit einem Alias angeben und bewerben. Jedes registrierte Modell kann mehr als einen Alias haben, aber jeder kann nur einer Version gleichzeitig zugewiesen werden. Auch hier können Sie einen Alias interaktiv innerhalb der W&B-App oder programmgesteuert über das Python SDK hinzufügen.
7) Das Produktionsmodell nutzen
Verwenden Sie abschließend Ihr Produktionsmodell für die Inferenz. Informationen zum Verwenden des Modells in einem Live-Produktionskontext finden Sie in Schritt 4 oben. Sie können mithilfe verschiedener Aliasstrategien auf eine Version innerhalb eines registrierten Modells verweisen, z. B. mithilfe von „latest“, „v3“ oder „production“.
8) Erstellen Sie ein Berichts-Dashboard
Mithilfe von W&B Weave-Bedienfeldern können Sie jede Modellregistrierung oder Artefaktansicht in Berichten anzeigen! Erstellen Sie Berichte, die Metadaten, Nutzung, Dateien, Herkunft, Aktionsverlaufsprüfung oder Versionsverlaufsanalyse anzeigen – was auch immer Sie untersuchen und analysieren möchten.
Schauen Sie sich dieses Beispiel eines Modell-Dashboards an:
Abschluss
Inzwischen haben wir festgestellt, dass Modellregister für die effiziente und anspruchsvolle Operationalisierung von ML-Workflows und -Projekten unverzichtbar sind. Ein gut organisiertes Modellregister dient als zentrale Anlaufstelle und einzige Quelle für alle Modellstatus und als letzter Übergabepunkt an MLOps und in die Produktion. Es gewährleistet reibungslose automatisierte Übergänge, verringert die Wahrscheinlichkeit von Fehlern oder Modellen von geringer Qualität in der Produktion und gibt ML-Teams Sicherheit.