M-KOPA transformiert seinen Modellverwaltungs-Workflow mit Weights & Biases
„Die Verwendung des W&B-Modellregisters zur Modellförderung hat sich als äußerst nützlich erwiesen. Da die vollständige Historie des Modells verfügbar ist, können auch andere Abteilungen – wie das Produktmanagement – den Bereitstellungsprozess sehr leicht verwalten.“
Benedict Eugine
Datenwissenschaftler
Modellmanagement ist für alle Machine-Learning-Teams wichtig, aber besonders wichtig für diejenigen, die in stark regulierten Branchen wie Fintech arbeiten, sowie für kleine, agile Data-Science-Teams, die in Technologie- und Geschäftsproduktgruppen integriert sind. Automatisierte, skalierbare Systeme und Prozesse sind für einen effizienten Arbeitsablauf von entscheidender Bedeutung.
Das ML-Team von M-KOPA , das unterversorgten Märkten in Afrika südlich der Sahara auf sozial verantwortliche Weise digitale Finanzierungen zur Verfügung stellt, muss sicherstellen, dass seine ML-Modelle und -Arbeitsabläufe sowohl mit den Anforderungen interner Geschäftspartner als auch externer Prüfer konform sind.
Das Data Science-Team von M-KOPA spielt eine wichtige Rolle bei der Preisgestaltung und strategischen Entscheidungen, bei der Risikobewertung von Retention-Produkten und Kreditfazilitäten sowie bei der Verbesserung von Vorhersagen zu Kreditverlusten und Upselling-Potenzial für Kunden. Angesichts der Bedeutung ihrer ML-Arbeit für die Verwaltung des Unternehmensportfolios war die Verwendung des Weights & Biases Model Registry als zentraler Hub und einzige Quelle der Wahrheit für das ML-Team von M-KOPA ein entscheidender Wendepunkt.
W&B Registry als Hub zur Modellverwaltung
„Bevor wir [W&B Model Registry] verwendeten, verwalteten wir Tracking-Prognosemodelle hauptsächlich in Ad-hoc-Jupyter-Notebooks oder READMEs oder in einer Excel-Tabelle oder sogar einfach in meinem Kopf“, sagte David Clarance, Staff Data Scientist bei M-KOPA. „Das war kein toller Ort.“
Das Team wollte die Nachverfolgung und das allgemeine Workflow-Management für seine Produktionsmodelle verbessern und gleichzeitig eine starke Prüfspur und eine Gebäudeherkunft beibehalten – die Nachvollziehbarkeit und Reproduzierbarkeit eines Modells mit Details dazu, wie und warum es entwickelt wurde. Sie wollten auch die Belastung durch institutionelles Wissen, das bei Einzelpersonen liegt, reduzieren und die Zusammenarbeit zwischen ihren ML-Entwicklungs- und Produktionsteams und den entsprechenden funktionalen Stakeholdern verbessern.
Das Team begann damit, die vorhandene Experimentverfolgung in drei verschiedene Ausführungstypen zu gliedern: a) Eine Produktionsprognoseaufgabe, die das genehmigte Produktionsmodell verwendet, um die vom Unternehmen verwendeten Tagesprognosen zu generieren. b) Eine geplante automatische Umschulungsaufgabe, die unter Verwendung der aktuellsten verfügbaren Trainingsdaten ein „Challenger“-Modell erstellt. Dieses Modell wird in die „QA“-Kategorie befördert, wenn bestimmte Validierungskriterien erfüllt sind. c) Eine QA-Prognoseaufgabe, die das QA-Modell verwendet, um Tagesprognosen zu generieren und manuelle Entscheidungen darüber zu treffen, ob das QA-Modell in die Produktion befördert werden kann.
Das folgende Diagramm veranschaulicht den Arbeitsablauf. Da alle Arten von Durchläufen bereits vorhanden waren (das Team verfolgte alle Experimente in Weights & Biases), war es für sie ein Kinderspiel, das Modellregister in Betrieb zu nehmen.
Ohne einen zentralen Hub für die Modellverwaltung war der Prozess der Verfolgung und Förderung von Produktionsmodellen manuell und potenziell fehleranfällig. Die Einführung des Modells verzögerte sich und der Gesamtprozess zwischen dem ML-Team und den Geschäftspartnern verlief nicht so reibungslos, wie er hätte sein sollen.
Heute wird der gesamte Prozess über geschützte Aliase über W&B Registry verwaltet. Geschützte Aliase stellen wichtige Phasen der M-KOPA-Modellentwicklungspipeline dar – wie Staging, QA, Challenger oder verschiedene Modellversionsnummern. Jeden Tag wird die mit „QA“ gekennzeichnete Modellversion zur menschlichen Bewertung in eine QA-Umgebung weitergeleitet, wodurch das Team einen viel klareren Überblick darüber erhält, was sich zu jedem Zeitpunkt in der Produktion befindet, welche Modellversion zuvor verwendet wurde und was möglicherweise als Nächstes kommt.
„Die Verwendung des W&B Model Registry zur Modellförderung war äußerst nützlich“, sagte Benedict Eugine, Data Scientist bei M-KOPA. „Die Verfügbarkeit der vollständigen Modellhistorie macht es auch anderen Abteilungen – wie dem Produktmanagement – sehr leicht, den Bereitstellungsprozess zu verwalten. Es ist sehr einfach zu verwenden, selbst für jemanden, der nicht so technisch versiert ist wie ein Entwickler.“
Da viele Personen aus verschiedenen Abteilungen Zugriff haben, ist die Einführung rollenbasierter Zugriffskontrollen (RBAC) – zusätzlich zu den geschützten Aliasnamen – eine notwendige Ebene des Workflow-Managements. Kein Unternehmen, insbesondere kein Unternehmen, das mit Finanzmodellen arbeitet, kann es sich leisten, dass die falsche Person versehentlich die falschen Modelle in die Produktion einsetzt. Daher haben nur zugewiesene Registry-Administratoren Zugriff, um den geschützten Alias des Modells in „Produktion“ zu ändern.
Das Team führt derzeit auch eine manuelle Prüfung für den letzten Schritt vor der Produktion durch. In der Pipeline für Training und Validierung durchläuft ein trainiertes Challenger-Modell Validierungsprüfungen und wird, wenn es diese besteht, in die Qualitätssicherung befördert. Wenn diese Validierungsprüfungen fehlschlagen, wird es entsprechend gekennzeichnet. Das ML-Team arbeitet mit Stakeholdern in der Kreditabteilung zusammen, um die entsprechenden Finanzprüfungen durchzuführen, und wenn sie damit zufrieden sind, kennzeichnen sie das QA-Modell manuell als Produktionsmodell – mit ihren entsprechenden Berechtigungen als Registrierungsadministrator – und der Zyklus wird fortgesetzt. Aufgrund der finanziellen Natur der Modelle und der damit verbundenen Vorschriften sind manuelle Prüfungen erforderlich. Für Modelle mit geringer Auswirkung hofft das Team, den gesamten Prozess zu automatisieren, einschließlich bestandener/nicht bestandener Validierungsprüfungen und anschließender Modellförderung über geschützte Aliase.
Vertrauen aufbauen, um das Finanzwesen neu zu definieren und Inklusivität zu fördern
M-KOPA hat sich zum Ziel gesetzt, Fairness für seine Kunden zu gewährleisten und den Zugang zu Finanzdienstleistungen in Subsahara-Afrika zu verbessern, während es gleichzeitig mit der Prüfung von Modellen und ML-Aktivitäten durch Wirtschaftsprüfer und Finanzkontrolleure konfrontiert ist. W&B Registry und insbesondere seine Funktion „Action History“ zur Verfolgung aller Details für alle Aliase im Verlauf der Geschichte haben sich in diesem Bereich als besonders nützlich erwiesen.
„Für Datenwissenschaftler ist es immer schwierig, intern Vertrauen aufzubauen“, sagte Rosina Norton, Leiterin der Datenwissenschaft bei M-KOPA. „Viele der Dinge, die wir tun, sind ziemlich obskur, daher muss Vertrauen durch konkrete Demonstrationen aufgebaut werden. Ein System wie Weights & Biases zu haben und Prozesse zu entwickeln, um ihre Fragen zu beantworten, hilft wirklich dabei, dieses Vertrauen aufzubauen.“
Und dank optimierter Arbeitsabläufe, verbesserter Herkunftsverfolgung und besserer Zusammenarbeit mit den Geschäftspartnern ist das ML-Team von M-KOPA in der Lage, die ausgefeiltesten Finanzmodelle zu entwickeln, um unterversorgten Bevölkerungsgruppen günstigere und flexiblere Finanzierungsoptionen zu bieten. Weights & Biases und insbesondere das Model Registry sind der Schlüssel zur Verknüpfung ihrer ML-Prozesse.
„Das Ziel des Unternehmens war schon immer, finanzielle und digitale Inklusion zu ermöglichen“, sagte Norton. „Es geht nicht darum, wie wir den Gewinn unseres Portfolios maximieren können, sondern wie wir die Zahl der Menschen maximieren, denen wir helfen können.“