CohereがW&Bの助けを借りてビジネスクリティカルなLLMをトレーニングする方法
「Weights & Biases は、さまざまな実験やモデルの可視化と比較、ML の知識の共有と文書化、作業の重複の削減、そして最終的には取り組んでいる新しいモデルの開発に役立ちます。 Weights & Biases は、私たちが構築したすべてのモデルをサポートしてきました。」
ニルス・ライマース
Cohere ML ディレクター
Cohereについて
Cohereは、大規模言語モデル (LLM) のパワーをあらゆる分野の開発者やあらゆる規模の企業に提供することに注力している言語 AI 企業です。セマンティック検索、コンテンツ モデレーション、コンテンツ作成、その他のビジネス クリティカルなユース ケースのいずれに使用する場合でも、Cohere は、拡大する顧客ベースに真の変化をもたらすモデルを構築および調整しています。
各顧客に最適なモデルをトレーニングする
おそらく、LLM について聞いたことがあるでしょう。LLM は、ほんの数年前の自然言語モデルを大幅に上回る性能を発揮し、広く受け入れられ、使用されるようになりました。
Cohere のベースライン モデルは非常に強力ですが、カスタマイズ機能は Cohere プラットフォームを通じて利用できます。お客様は独自のデータセットをアップロードし、数回クリックするだけでカスタム言語モデルのトレーニングを開始できます。その結果、ドメインまたは垂直固有のタスク向けの世界で最も強力なモデルがいくつか作成されます。
追加サポートを必要とするエンタープライズ カスタマーの場合、Cohere の社内チームが舞台裏でカスタム ソリューションの構築をお手伝いします。これには、ソーシャル アプリの毒性分類機能の向上や、マーケティング キャンペーンの広告コピーの改善など、カスタマー独自のユース ケースに最適なモデルを構築するための多くの実験が含まれることがよくあります。ここで、Weights & Biases (W&B) が役立ちます。
課題の範囲
さらに詳しく調べる前に、大規模言語モデルがどの程度の大きさなのかを整理しておくことが重要です。たとえば、Cohere のモデルには数十億のパラメータが含まれています。また、LLM の性質上、小規模で一口サイズの実験は単純に機能しません。必要なサイズに拡大されたときにこれらのモデルがどのように動作するかを正確に反映しないからです。
Cohere 製品チームは、顧客向けのカスタム モデルを構築するときに、実験に Weights & Biases を使用します。W&B プラットフォームは、どの固有のデータセット、ハイパーパラメータ、またはその他のモデル構成がエンタープライズ顧客にとって最適な言語モデルを生成するかをログに記録して追跡します。W&B を使用すると、一元化されたダッシュボードを簡単に表示して、どの候補モデルが他のモデルよりも優れているかをすばやく把握できるため、最も効果的な特定のアーキテクチャとデータ レシピに関する洞察が得られます。
Cohere のプロダクト マネージャーである Ellie Evans 氏に話を伺ったところ、彼女は簡潔に次のように述べました。「W&B を使用すると、候補となるモデルをすべて一度に調べることができます。堅牢なテスト スイートでどのモデルが最先端の結果を生み出すかを特定できます。これにより、エンタープライズのお客様に、特定のアプリケーション向けの最先端のソリューションを提供できるようになります。これは、各お客様にとってどのモデルが最適かを理解するために不可欠です。」
成長を続ける Cohere の製品チーム全体でこのすべての情報に簡単にアクセスできる一元化された作業スペースがあることは、生産性とスピードにとって不可欠です。さまざまな機械学習エンジニアが、最新のブレークスルーを過去の成功と簡単に比較できます。全員が、お互いの最高のアイデアや実験、そしてうまくいかなかった実験を把握できます。そして、最後の部分は特に重要です。LLM のトレーニングには費用と時間がかかり、モデリング時間の無駄を避けることで、コンピューティング コストから顧客のターンアラウンド時間まで、あらゆるコストを節約できます。
この情報の一部は、W&B レポートにも記録されます。レポートを使用すると、チーム内での知識の共有や非技術系の関係者とのコミュニケーションが容易になるほか、社内の暗黙知を将来の参照用に保管することもできます。
「レポートは私たちにとって非常に役立っています」とエリーは言います。「レポートにより、技術に詳しくないチームでも理解しやすい方法で、微妙な技術情報をシームレスに伝えることができます。」
結論
LLM はあらゆる業界で広く使用されるようになりつつあり、カスタム モデルをトレーニングし、そのニュアンスを理解できる企業は理想的な立場にあります。Cohere は、膨大な数の NLP タスクを解決できるベースライン モデルと、顧客にさらなる柔軟性とパワーを提供するカスタマイズ機能を備えたこの分野のリーダーです。Cohere を使用すると、すべての顧客が特定の差し迫ったニーズに適したモデルを構築して活用できます。
モデルのサイズと複雑さが増大し続ける中、大規模な機械学習チームを持たない中小企業は、自社のモデルを社内でトレーニングすることができなくなります。LLM のトレーニングには数百万ドルと数千時間の費用がかかります。Cohere は、そうしたリソースや専門知識を持たない大多数の企業が、こうしたモデルのパワーを利用できるようにします。つまり、より多くの企業が今日、そして将来、最先端のモデルを利用できるようになるのです。
