EXPERIMENT-TRACKING
Das Aufzeichnungssystem für Ihr Modelltraining
Verfolgen, vergleichen und visualisieren Sie Ihre ML-Modelle mit 5 Zeilen Code
Implementieren Sie die Protokollierung von Experimenten schnell und einfach, indem Sie Ihrem Skript nur ein paar Zeilen hinzufügen und mit der Protokollierung der Ergebnisse beginnen. Unsere leichte Integration funktioniert mit jedem Python-Skript.
import wandb
# 1. Start a W&B run
run = wandb.init(project="my_first_project")
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
# 3. Log metrics to visualize performance over time
for i in range(10):
run.log({"loss": 2**-i})
import weave
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
# Initialize Weave with your project name
weave.init("langchain_demo")
llm = ChatOpenAI()
prompt = PromptTemplate.from_template("1 + {number} = ")
llm_chain = prompt | llm
output = llm_chain.invoke({"number": 2})
print(output)
import weave
from llama_index.core.chat_engine import SimpleChatEngine
# Initialize Weave with your project name
weave.init("llamaindex_demo")
chat_engine = SimpleChatEngine.from_defaults()
response = chat_engine.chat(
"Say something profound and romantic about fourth of July"
)
print(response)
import wandb
# 1. Start a new run
run = wandb.init(project="gpt5")
# 2. Save model inputs and hyperparameters
config = run.config
config.dropout = 0.01
# 3. Log gradients and model parameters
run.watch(model)
for batch_idx, (data, target) in enumerate(train_loader):
...
if batch_idx % args.log_interval == 0:
# 4. Log metrics to visualize performance
run.log({"loss": loss})
import wandb
# 1. Define which wandb project to log to and name your run
run = wandb.init(project="gpt-5",
run_name="gpt-5-base-high-lr")
# 2. Add wandb in your `TrainingArguments`
args = TrainingArguments(..., report_to="wandb")
# 3. W&B logging will begin automatically when your start training your Trainer
trainer = Trainer(..., args=args)
trainer.train()
from lightning.pytorch.loggers import WandbLogger
# initialise the logger
wandb_logger = WandbLogger(project="llama-4-fine-tune")
# add configs such as batch size etc to the wandb config
wandb_logger.experiment.config["batch_size"] = batch_size
# pass wandb_logger to the Trainer
trainer = Trainer(..., logger=wandb_logger)
# train the model
trainer.fit(...)
import wandb
# 1. Start a new run
run = wandb.init(project="gpt4")
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
# Model training here
# 3. Log metrics to visualize performance over time
with tf.Session() as sess:
# ...
wandb.tensorflow.log(tf.summary.merge_all())
import wandb
from wandb.keras import (
WandbMetricsLogger,
WandbModelCheckpoint,
)
# 1. Start a new run
run = wandb.init(project="gpt-4")
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
... # Define a model
# 3. Log layer dimensions and metrics
wandb_callbacks = [
WandbMetricsLogger(log_freq=5),
WandbModelCheckpoint("models"),
]
model.fit(
X_train, y_train, validation_data=(X_test, y_test),
callbacks=wandb_callbacks,
)
import wandb
wandb.init(project="visualize-sklearn")
# Model training here
# Log classifier visualizations
wandb.sklearn.plot_classifier(clf, X_train, X_test, y_train, y_test, y_pred, y_probas, labels,
model_name="SVC", feature_names=None)
# Log regression visualizations
wandb.sklearn.plot_regressor(reg, X_train, X_test, y_train, y_test, model_name="Ridge")
# Log clustering visualizations
wandb.sklearn.plot_clusterer(kmeans, X_train, cluster_labels, labels=None, model_name="KMeans")
import wandb
from wandb.xgboost import wandb_callback
# 1. Start a new run
run = wandb.init(project="visualize-models")
# 2. Add the callback
bst = xgboost.train(param, xg_train, num_round, watchlist, callbacks=[wandb_callback()])
# Get predictions
pred = bst.predict(xg_test)
Visualisieren und vergleichen jedes Experiment
Schnelles Finden und erneutes Ausführen Prüfpunkte für vorherige Modelle
Die Experimentverfolgung von Weights & Biases speichert alles, was Sie zur späteren Reproduktion von Modellen benötigen – das neueste Git-Commit, Hyperparameter, Modellgewichte und sogar Beispieltestvorhersagen. Sie können Experimentdateien und Datensätze direkt in Weights & Biases speichern oder Zeiger auf Ihren eigenen Speicher speichern.
import wandb
from transformers import DebertaV2ForQuestionAnswering
# 1. Create a wandb run
run = wandb.init(project=’turkish-qa‘)
# 2. Connect to the model checkpoint you want on W&B
wandb_model = run.use_artifact(’sally/turkish-qa/
deberta-v2:v5′)
# 3. Download the model files to a directory
model_dir = wandb_model.download()
# 4. Load your model
model = DebertaV2ForQuestionAnswering.from_pretrained(model_dir)
Aus“Wenn Inception-ResNet-V2 zu langsam ist” von Stacey Svetlichnaya
Überwachen Sie Ihre CPU- und GPU-Auslastung
Visualisieren Sie Live-Metriken wie die GPU-Auslastung, um Trainingsengpässe zu identifizieren und die Verschwendung teurer Ressourcen zu vermeiden.
Debuggen der Leistung in Echtzeit
Sehen Sie, wie Ihr Modell funktioniert, und identifizieren Sie Problembereiche während des Trainings. Wir unterstützen Rich Media, einschließlich Bilder, Videos, Audio und 3D-Objekte.
COVID-19-Hauptprotease im Komplex N3 (links) und COVID-19-Hauptprotease im Komplex mit Z31792168 (rechts) von
“Visualisierung der Molekularstruktur mit Gewichten und Verzerrungen” von Nicholas Bardy
Datensatzversionierung mit Deduplizierung100 GB freier Speicherplatz
Automatisch versioniert protokollierte Datensätze, wobei die Differenzierung und Deduplizierung im Hintergrund von Weights & Biases durchgeführt wird.
MLOps Whitepaper
Lesen Sie, wie der Aufbau des richtigen technischen Stacks für Ihr Machine-Learning-Team die Kerngeschäftsbemühungen unterstützt und geistiges Eigentum schützt.
Zugänglichüberall
Überprüfen Sie das neueste Trainingsmodell und die Ergebnisse auf Desktop- und Mobilgeräten. Nutzen Sie gemeinsam gehostete Projekte zur Koordination innerhalb Ihres Teams.
Gewichte & Die Biases-Plattform hilft Ihnen, Ihren Arbeitsablauf von Anfang bis Ende zu optimieren.
Modell
Experiment
Tracking und Visualisierung ML-Experimente
fegen
Optimierung Hyperparameter
Modellregister
Registrierung und Verwaltung von ML-Modellen
Automatisierung
Lösen Sie Workflows automatisch aus
Start
Verpackung und Betrieb ML-Workflow-Aufgaben
salzig
Beweis
Entdecken Sie
LLM-Debug
Auswertung
Strenge Bewertung von GenAI-Anwendungen
Die Wissenschaft des Debuggens mit W&B-Berichten
Automatisch versioniert protokollierte Datensätze, wobei die Differenzierung und Deduplizierung im Hintergrund von Weights & Biases durchgeführt wird.
Nahtlose Weitergabe des Fortschrittsprojektübergreifend
Verwalten Sie Teamprojekte mit einem einfachen Aufzeichnungssystem. Projekte können problemlos übergeben werden, wenn jedes Experiment automatisch gut dokumentiert und zentral gespeichert wird.