M-KOPA が W&B でモデル管理ワークフローを変革
「モデルのプロモーションに W&B モデル レジストリを使用することは、非常に便利です。モデルの完全な履歴を利用できることにより、製品管理などの他の部門が展開プロセスの管理を支援することも非常に簡単になります。」
ベネディクト・ユージン
データサイエンティスト
モデル管理はすべての機械学習チームにとって重要ですが、フィンテックのような規制の厳しい業界で働いているチームや、テクノロジーおよびビジネス製品グループに統合された小規模なアジャイル データ サイエンス チームにとって特に重要です。自動化されたスケーラブルなシステムとプロセスを持つことは、効率的なワークフローにとって不可欠です。
サハラ以南のアフリカのサービスが行き届いていない市場に社会的責任のある方法でデジタルファイナンスを提供しているM-KOPAの ML チームでは、ML モデルとワークフローが社内のビジネス関係者と外部監査人の両方の要件に準拠していることを確認する必要があります。
M-KOPA データ サイエンス チームは、価格設定や戦略的な決定の推進、保有商品や債務ファシリティのリスク評価、信用損失や顧客のアップセルの可能性に関する予測の改善において重要な役割を果たしています。同社のポートフォリオ管理における ML 作業の重要性を考えると、Weights & Biasesモデル レジストリを一元化されたハブおよび唯一の真実のソースとして使用することは、M-KOPA ML チームにとって大きな変化をもたらしました。
モデル管理ハブとしてのW&Bレジストリ
「[W&B モデル レジストリ] を使用する前は、予測モデルの追跡をアドホックな Jupyter ノートブック、README、Excel スプレッドシート、あるいは頭の中だけで管理していました」と、M-KOPA のスタッフ データ サイエンティストである David Clarance 氏は語ります。「あまり良い状況ではありませんでした。」
チームは、強力な監査証跡を維持し、系統（モデルがどのように、なぜ開発されたかの詳細を含む、モデルの扱いやすさと再現性）を構築しながら、運用モデルの追跡と全体的なワークフロー管理を改善したいと考えていました。また、個人間で共有される組織的知識の負担を軽減し、ML 開発チームと運用チーム、および対応する機能上の利害関係者間のコラボレーションを改善したいと考えていました。
チームは、既存の実験追跡を 3 つの異なるタイプの実行に整理することから始めました。a) 承認された生産モデルを使用して、ビジネスで使用される毎日の予測を生成する生産予測タスク。b) 最新のトレーニング データを使用して「チャレンジャー」モデルを作成する、スケジュールされた自動再トレーニング タスク。特定の検証基準が満たされた場合、このモデルは「QA」に昇格されます。c) QA モデルを使用して毎日の予測を生成し、QA モデルを生産に昇格できるかどうかの手動決定を通知する QA 予測タスク。
下の図はワークフローを示しています。すべての種類の実行がすでに存在していたため (チームは Weights & Biases ですべての実験を追跡していたため)、モデル レジストリを起動して実行するのはシームレスでした。
モデル管理のための一元化されたハブがなかったため、実稼働モデルの追跡とプロモーションのプロセスは手動で行われ、エラーが発生しやすくなっていました。モデルの展開が遅れ、ML チームとビジネス関係者間の全体的なプロセスは、本来あるべきほどシームレスではありませんでした。
現在、プロセス全体は、保護されたエイリアスを介して W&B レジストリで管理されています。保護されたエイリアスは、ステージング、QA、チャレンジャー、またはさまざまなモデル バージョン番号など、M-KOPA モデル開発パイプラインの重要な段階を表します。毎日、「QA」のタグが付けられたモデル バージョンは、人間による評価のために QA 環境に昇格され、チームは、常に何が本番環境で使用されているか、どのモデル バージョンが以前に使用されていたか、次に何が来る可能性があるかをより明確に把握できます。
「モデルのプロモーションに W&B モデル レジストリを使用することは非常に便利です」と、M-KOPA のデータ サイエンティストである Benedict Eugine 氏は述べています。「モデルの完全な履歴が利用できるため、製品管理などの他の部門が展開プロセスを管理しやすくなります。開発者ほど技術に詳しくない人でも、非常に簡単に使用できます。」
さまざまな部門の多くの個人がアクセスできる場合、保護されたエイリアスに加えて、ロールベースのアクセス制御 (RBAC) を持つことは、ワークフロー管理の必須レベルです。金融モデルを扱う会社では特に、間違った人が誤って間違ったモデルを本番環境にデプロイしてしまうリスクを冒すことはできません。そのため、割り当てられたレジストリ管理者だけが、モデルの保護されたエイリアスを「本番環境」に変更するアクセス権を持ちます。
チームは現在、本番前の最終ステップの手動チェックも維持しています。トレーニングと検証のパイプラインで、トレーニング済みのチャレンジャー モデルは検証チェックを受け、合格すると QA に昇格します。これらの検証チェックが不合格になると、それに応じてタグ付けされます。ML チームはクレジット部門の関係者と協力して適切な財務チェックを行い、問題がなければ、適切なレジストリ管理者権限を使用して QA モデルを本番モデルとして手動でタグ付けし、サイクルが継続されます。モデルの財務的性質と関連する規制のため、手動チェックが必要です。影響の少ないモデルの場合、チームは検証チェックの合格/不合格と、保護されたエイリアスによるその後のモデル昇格を含むプロセス全体を自動化したいと考えています。
信頼を構築して金融を再定義し、包括性を推進する
M-KOPA は、顧客に対する公平性を確保し、サハラ以南のアフリカにおける金融アクセスを変革するという使命を掲げていますが、同時にモデルや ML 活動に対する監査人や財務管理者の監視にも直面しています。W&B レジストリ、特に履歴全体を通じてすべてのエイリアスの詳細を追跡するアクション履歴機能は、この分野で特に役立っています。
「データ サイエンティストにとって、社内で信頼を築くことは常に難しいことです」と、M-KOPA のデータ サイエンス責任者であるロジーナ ノートン氏は述べています。「私たちが行っていることの多くは非常にわかりにくいため、具体的な実証を通じて信頼を築く必要があります。Weights & Biases のようなシステムを導入し、質問に答えるプロセスを設計することは、信頼を築くのに非常に役立ちます。」
また、ワークフローの合理化、系統追跡の改善、ビジネス部門との連携強化により、M-KOPA の ML チームは最も洗練された金融モデルを実現し、サービスが行き届いていない人々に、より手頃で柔軟な資金調達オプションを提供できるようになりました。Weights & Biases、特にモデル レジストリは、ML プロセスを結び付ける鍵となります。
「当社の目標は常に金融とデジタルの包摂を実現することです」とノートン氏は語った。「ポートフォリオの利益を最大化する方法ではなく、支援できる人の数を最大化する方法なのです。」