2024年12月のアップデートと新機能
12月の開発の取り組みについて
Created on January 10|Last edited on January 10
Comment
本レポートは、2024年12月にリリースされたWeights & Biases（W&B）の新機能とアップデートをまとめたものです。今月は、ワークスペースの改善、Weaveプレイグラウンドの拡張、新しいモデルの追加など、多くの重要なアップデートが行われました。以下に詳細をご紹介します。
W&B Weave
🧪 Weaveプレイグラウンドでのトライアル実行
- 同じプロンプトに対して複数の出力を生成し、応答の一貫性を評価できます。
- プレイグラウンド設定サイドバーで「トライアル数」を増やし、プロンプトを実行。
- トライアル結果を確認し、温度設定などのLLMパラメータを微調整したり、プロンプト攻撃や有害な応答に対するガードレールを設定したりできます。
🤖 Weaveプレイグラウンドに新しいモデルを追加
Amazon NovaモデルとxAIのGrokベータ版LLMがWeaveプレイグラウンドで利用可能になりました。
- チーム設定でキーを追加し、これらのモデルをタスクで試すことができます。
🔍 新しい比較機能
- 2つ以上のオブジェクトを選択し、比較ビューを起動。
- 変更、パターン、トレンドを探索するためのカスタマイズ可能な設定を提供。
🏆 W&B Weaveにリーダーボード機能を追加
開発者が評価をリーダーボードにグループ化し、組織内で共有できるようになりました。
- 最良のパフォーマンスを示すモデルやプロンプトを特定し、次のアプリケーション開発に活用。
- プロンプト、データセット、コード変更などを詳細に分析可能。
W&B Models
🖥️ ワークスペースユーザーインターフェースの改善
- 統一された設定: スムージング、X軸、外れ値などの設定を1か所で管理。
- ライブプレビュー: 変更が即座に反映され、ワークスペースへの影響をリアルタイムで確認可能。
- 新しいUX: 個別のモーダルやクイックアクションを廃止し、ワークフローを簡素化。
📊 新しいパネル管理ツールでワークスペース体験を向上
ワークスペースのデフォルト体験を改善し、パネル管理ツールを強化しました。これにより、重要なメトリクスに焦点を当て、ワークスペースをカスタマイズできるようになりました。
- 自動ワークスペース: 従来通り、メトリクスがログされると自動的に追加されます。
- 手動ワークスペース: 表示するメトリクスを完全に制御できます。新しいメトリクスは自動的に追加されず、ユーザーが選択したメトリクスのみを表示します。
- キーフィーチャー:
- 単一パネルの追加
- 正規表現を使用して最大500パネルを一括追加（「Quick add」機能）
- 個別パネルの削除やワークスペース全体のクリアが簡単に可能
以上が今月の製品ニュースレターの内容です。過去数ヶ月の更新内容を閲覧したい場合は、以下のリンクをクリックしてください：
10月の製品アップデート: W&B Weaveについては、オーディオフォーマットのサポート、すぐに使える評価メトリクス、TypeScript/JavaScriptのサポート、カスタムネーミング機能、チャットタブの導入。W&B Modelsについては、新しいNVIDIA GPUメトリクスの追加、プロジェクトレベルのアクセス制御、TPUメトリクスの拡充、パネル管理の改善、Cohere fine-tuning APIとの統合が含まれます。
9月の製品アップデート: W&B Weaveについては、カスタムコストトラッキング、画像サポート、Pythonコードへの新しいエクスポートオプションが追加されました。W&B Modelsについては、大規模で長時間実行される実験向けに最適化された高速で信頼性の高いロギングを提供するwandb-core GAの導入、セキュリティアップデート、そしてデフォルトで有効化されるfull fidelityのチャートが含まれます。
8月の製品アップデート: W&B Modelsについては、レジストリバージョンタグ、実験名の切り捨て、請求ダッシュボードの更新。W&B Weaveについては、新しいサービスAPI、強力なフィルター、エクスポート呼び出し。
7月の製品アップデート：Models向けに、レジストリによるモデルとデータセットの追跡・整理、巻き戻し機能、アーティファクト探索、セキュリティ更新。Weave向けに、評価比較の可視化と人間からのフィードバック機能。
Add a comment