Square が W&B であらゆる規模の企業に会話型 AI を導入
「現在、トレーニング時に S3 と通信しません。保存場所の詳細を知る必要はありません。Artifacts レジストリと通信するだけで、すべての系統を追跡できます。」
イーサン・ローゼンタール
スタッフAIエンジニア
顧客中心の企業
経営者として、あなたがどのように話すかは、あなたがどのように行動するかについて多くを語ります。
顧客との関係を築くことは、長期的な成功を確実にするために不可欠です。そして、良好な顧客関係は、顧客体験、つまり顧客があなたと取引をするときの気持ちに基づいています。たった 1 回のやり取りで、絶賛されるか、悲惨な苦情を受けるかが決まることもあります。
しかし、一貫して効果的な顧客コミュニケーションを実現するには、時間と労力、そして時には忍耐が必要です。ここで Square の出番です。
信頼性、使いやすさ、リーズナブルなコストで知られる Square の使命は、企業が経済に参加し、成長できるように支援することです。そして、Square の ML チームは、それをさらに一歩進めて、日常の起業家が顧客とのやり取りを成功に導くためのツールの開発に取り組んでいます。
Square メッセージと Square アシスタント
ヘアサロン、レストラン、ブティックなど、どんなビジネスを経営するにしても、顧客と思慮深い会話を交わすことが重要です。こうしたコミュニケーションは、便利なテキスト メッセージという形で行われることが多く、ベンダーとの連絡、従業員への指示、クライアントとのアポイントの調整など、さまざまな目的で行われます。こうした 1 対 1 のメッセージは、ビジネスが日々の業務を遂行するために頼りにしているものです。
こうした会話をすべて追跡できるようにするために、Square は顧客とのコミュニケーションをすべて 1 か所にまとめるメッセージング ハブである Square Messages を導入しました。テキスト、領収書、請求書、フィードバックなど、あらゆるものを Square Messages で送受信できます。それだけではありません。多忙な起業家は、顧客にリアルタイムで応答する自動メッセージング ツールである Square Assistant も使用できます。ビジネス オーナーは、このツールを個人の AI アシスタントと考えることができます。
たとえば、予約の管理を考えてみましょう。顧客が予約の確認、再スケジュール、またはキャンセルを希望する場合、Square Assistant は顧客に即座に返信し、それぞれのシナリオに対する解決策を提供します。アシスタントを活用することの素晴らしい点は、顧客とのやり取りがすべて直接的、迅速、かつプロフェッショナルなものになることです。
大規模な機械学習
両方のツールを成功に導く舞台裏で何が行われているのでしょうか? 堅牢な自動再トレーニング フレームワーク、本番環境ですぐに使用できるメトリクス、すべてのモデルのライフサイクルの完全な系統です。Square では、W&B がこれらの重要な項目のそれぞれで役割を果たしていました。
Square を使用する顧客と企業の間では、毎秒会話が行われています。これらのメッセージから生成されたすべての新しいデータを使用して、Square はモデル (GPT スタイルの大規模言語モデル) の自動再トレーニングを設定し、前月に行われた会話データを使用してモデルをトレーニングします。すべてのトレーニング データとモデルは W&B に保存され、チーム全体の進捗状況を整理され、標準化された一元的な場所に保管します。
そこから、Square はモデルの段階に基づいて W&B 内のモデルにタグを付けます。また、Square には、モデルを分類して、どのモデルを本番環境にデプロイするかを決定する独自の方法があります。
モデルの戦い
Square が毎月新しいデータでモデルを自動的に再トレーニングする場合、モデルは最初にシャドウ モデルとしてデプロイされます。これは、モデルがバックグラウンドで静かに使用される場所です。つまり、テキストを生成しますが、誰にも表示されません。次に、シャドウ モデルはチャレンジャー モデルに昇格され、その名前が示すように、既存のモデルであるチャンピオン モデルに挑戦します。チャレンジャーとチャンピオンは自動化された A/B テストを受け、チャレンジャーのパフォーマンスが優れている場合は、新しいチャンピオン モデルとして昇格されます。このプロセスでは、W&B だけでなく、データ ストレージとモデル トレーニング用の GPU へのアクセスの両方を含む、Amazon Web Services によって提供されるスケーラブルなインフラストラクチャも活用されます。
シャドウ モードでのルーティングを要求します。
A/B テスト中のリクエスト ルーティング:
モデルがシャドウ → チャレンジャー → チャンピオンへと移行する様子を示す Square の「ジョブ」フレームワーク:
本番環境対応メトリクス
このすべてにおいて、W&B は信頼できる情報源として機能し、モデルのバージョン管理と、Shadow、Challenger、Champion の 3 つのステージへの移行を支援します。W&B により、Square はトレーニングをリアルタイムで監視できるため、モデルを迅速かつ反復的にデバッグし、デプロイメントのパフォーマンス メトリックが満たされていることを確認できます。「当社では、Weights & Biases を運用の頭脳として使用しています。これにより、最高品質のモデルが本番環境に導入されます」と、Square のシニア マネージャーである Gabor Angeli 氏は述べています。
エンドツーエンドの系統
現在、Square ではさまざまなモデルが活用されているため、モデルの系統を維持することがますます重要になっています。ここで、W&B Artifacts が役立ちます。Artifacts を使用すると、Square は推測したり他の人に尋ねたりすることなく、モデルの作成にどのデータセットが使用されているかを正確に把握できます。
「現在、トレーニング時に S3 と通信することはありません。保存場所の詳細を知る必要はありません。Artifacts レジストリと通信するだけで、すべての系統を追跡できます」と、Square の AI エンジニアリング マネージャーである Ethan Rosenthal 氏は述べています。
それ以外にも、Artifacts は、新しいモデルを構築し、既存の Champion モデルと比較してテストする際に Square に自信を与えるのにも役立っています。現在、Square は、モデルのパフォーマンスを比較する際に、モデルが同じデータでトレーニングされ、同じテスト データで評価されることを確信しています。以前のソリューションと比較すると、Square には基本的な実験追跡機能しかなく、ML パイプラインのすべてのステップを追跡するのに役立つ Artifacts のような機能はありませんでした。
Square にとって特に有益な W&B のもう 1 つの側面は、W&B レポートです。レポートを使用すると、チーム メンバー間でフィードバックを簡単に渡すことができます。動的なドキュメントには、すべての実行と、それに関連するパラメーター、メトリック、ログ、コードが一目でわかるため、作業のコンテキストがすべてわかります。「レポートを作成すると、読むときにはおそらく古くなっているメトリックを含む Google スプレッドシートを取得するよりも、全員が何に取り組んでいるかを把握するのに非常に役立ちます」と Ethan 氏は説明します。
明日のビジネス
9 時から 5 時までの仕事を辞めて自分の上司になる労働者が増えているように思われ、Square のようなソリューションを持つことがますます重要になっています。Square は創業以来、常に企業の成長、繁栄、成功を支援することに重点を置いてきました。そして、その使命は今後も変わりません。
Square は起業家がよりスマートに作業し、時間を節約するためのツールを構築し続けており、包括的な MLOps プラットフォームを持つことが鍵となります。W&B を活用することで、Square は生産に最適なモデルの開発に集中し、互いの作業に基づいて学習内容を共有し、データとモデルの系統を完全に理解することができます。Square のようなミッション主導の組織にとって、エンタープライズ グレードのエンドツーエンドの MLOps プラットフォームを持つことは必須であり、当然のことながら、W&B はまさにそれです。