Jetzt ansehen: Wie Meta Lama 3 trainiert hat
In einer spannenden Präsentation auf der Fully Connected-Konferenz von Weights & Biases stellte Joe Spisak, Produktdirektor von GenAI bei Meta, die neueste Familie von Llama-Modellen vor, Llama 3.
Joe gibt Einblicke in die Trainingsprozesse und die Ausrichtung von Llama 3, das jetzt in den Benchmarks MMLU, GSM-K und HumanEval in der Kategorie der offenen Gewichte als das leistungsstärkste Modell gilt.
Vertrauenswürdig für die Teams, die hochmoderne LLMs entwickeln
„Für uns war Weights and Biases ein Wendepunkt. Kein anderes verfügbares MLOps-Tool ermöglicht eine schnelle Iteration von KI-Experimenten mit der gleichen Leichtigkeit beim Teilen von Ergebnissen, Kommentieren interessanten Verhaltens und der langfristigen Speicherung von Protokolldaten.“
„Wir verwenden W&B für praktisch unser gesamtes Modelltraining.“
„Mit W&B können wir alle unsere Kandidatenmodelle auf einmal untersuchen. Das ist wichtig, um zu verstehen, welches Modell für welchen Kunden am besten geeignet ist. Auch die Berichte sind für uns großartig. Sie ermöglichen uns die nahtlose Kommunikation nuancierter technischer Informationen auf eine Weise, die für nichttechnische Teams verständlich ist.“
Skalierbar und sicher
Wir bieten Lösungen, die mit massivem verteiltem Training skalierbar sind und in unserer sicheren gehosteten Cloud oder in einer selbstgehosteten Bereitstellung in Ihrer eigenen privaten Cloud gehostet werden können.
Mit Weights & Biases können Sie:
Konzentrieren Sie wichtige Entwicklerressourcen auf Ihr Kerngeschäft
Neue Machine-Learning-Modelle schneller und mit weniger Hin und Her einführen
Neue ML-Ingenieure schnell an Bord holen und Doppelarbeit vermeiden
Eine Fallstudie mit TRI
Überblick
Die Mission des Toyota Research Institute ist es, die sicherste Mobilität der Welt zu schaffen. Die Machine-Learning-Teams am TRI arbeiten am autonomen Fahren und verwenden das Weights & Biases-Aufzeichnungssystem, um ihre Modelle reproduzierbar zu machen.
- Unternehmensgröße: 300+
- Branche: Autonome Fahrzeuge
Problem
Unter der Leitung von Adrien Gaidon baute das ML-Team eine erstklassige Infrastruktur für Trainingsmodelle auf, es fehlte jedoch eine gute Möglichkeit, die wertvollen Ergebnisse zu verfolgen und zu versionieren.
Ihnen wurde schnell klar, dass ein zentrales Aufzeichnungssystem erforderlich war. Die interne Entwicklung einer Lösung lenkte das Team jedoch von seinen Kernzielen ab.
„Es ist derzeit wirklich schwierig, beim maschinellen Lernen irgendwelche statistischen oder sonstigen Garantien für seine Zuverlässigkeit zu geben. Wenn man ein sicherheitskritisches System einbaut, muss es wirklich funktionieren. Wie können wir es sicher genug machen, damit wir es in Autos einbauen und Leben retten können, anstatt sie zu gefährden?“
Toyota-Forschungsinstitut
Lösung
Das TRI-Team verglich verschiedene Lösungen für sein Experimentverfolgungsproblem und entschied sich für Weights & Biases als beste Plattform zur Koordinierung von Machine-Learning-Projekten.
Anstatt mit instabilen internen Tools und Ad-hoc-Lösungen für die Experimentverfolgung und Vorhersagevisualisierung herumzubasteln, konnte das ML-Team mit den leichtgewichtigen Experimentverfolgungs- und Visualisierungslösungen von W&B eine Standardisierung durchführen.
Das W&B-Dashboard gab Machine-Learning-Experten eine Kommandozentrale an die Hand, um Datensätze und Modellversionen zu vergleichen und eine zuverlässige Aufzeichnung aller Experimente und Ergebnisse zu führen. ML-Ingenieure können sich nun auf die wertvolle Arbeit der Modellentwicklung konzentrieren und so den Projektfortschritt beschleunigen.
„Sie müssen die Maßstäbe klar definieren, wenn Sie beispielsweise ein Robotersystem oder ein selbstfahrendes Auto haben, das sich aufgrund der sehr hohen Sicherheitsstandards nur äußerst schwer auf öffentlichen Straßen testen lässt. Gleichzeitig wollen Sie aber eine kontinuierliche Bereitstellung und schnelle Iteration.“
Adrien Gaidon
Toyota-Forschungsinstitut
Schließen Sie sich den Top-Innovatoren der Welt an und nutzen Sie Weights & Biases
