지금보기: Meta가 Llama 3를 훈련한 방법
Meta의 생성 AI 제품 디렉터인 Joe Spisak이 Weights & Biases의 Fully Connected 컨퍼런스에서 최신 Llama 모델 시리즈인 Llama 3을 발표했습니다.
Joe는 Llama 3의 학습 과정과 정렬에 대한 통찰을 공유했으며, 이 모델은 현재 MMLU, GSM-K, HumanEval 벤치마크에서 open weights 카테고리의 최고 성능 모델로 평가받고 있습니다.
Trusted by the teams building state-of-the-art LLMs
Research Engineer – Facebook AI Research
“우리에게 Weights and Biases는 게임 체인저였습니다. 다른 어떤 MLOps 도구도 AI 실험의 빠른 반복, 결과 공유의 용이성, 흥미로운 행동 주석 달기, 그리고 로그 데이터의 장기 저장을 동일하게 제공하지 못합니다.”
VP of Product- OpenAI
“우리는 거의 모든 모델 학습에 W&B를 사용합니다.”
Product Manager- Cohere
“W&B는 모든 후보 모델을 한 번에 검토할 수 있게 해줍니다. 이는 각 고객에게 가장 적합한 모델을 이해하는 데 필수적입니다. 또한, 보고서는 비기술 팀도 이해할 수 있도록 세부적인 기술 정보를 매끄럽게 전달할 수 있게 해주어 매우 유용했습니다.”
확장성 및 안전성
당사는 대규모 분산 교육으로 확장 가능한 솔루션을 제공하며, 보안이 강화된 당사의 호스팅 클라우드에서 호스팅하거나 고객이 자체적으로 프라이빗 클라우드에 셀프 호스팅 방식으로 배포할 수 있습니다.
Weights & Biases를 사용하면 가능합니다.
핵심 비즈니스에 중요한 개발자 리소스를 집중하세요.
시행착오를 줄이고 새로운 머신 러닝 모델을 더 빠르게 출시하세요.
새로운 ML 엔지니어를 신속하게 온보딩하고 중복 작업을 피할 수 있습니다.
사례 연구 TRI와 함께
Overview
Toyota Research Institute의 사명은 세계에서 가장 안전한 이동 수단을 구축하는 것입니다. TRI의 기계 학습 팀은 자율 주행을 추구하고 있으며, 모델을 재현 가능하게 만들기 위해 Weights & Biases의 시스템을 사용합니다.
- 회사 규모: 300+
- 산업: 자율주행차
Problem
Adrien Gaidon이 이끄는 ML 팀은 학습 모델을 위한 세계적 수준의 인프라를 구축했지만 결과를 추적하고 버전을 지정하는 좋은 방법이 부족했습니다.
중앙 기록 시스템의 필요성을 빠르게 깨달았지만 내부적으로 해결책을 구축하는 것이 팀의 핵심목표는 아니었습니다.
“현재 머신러닝이 얼마나 신뢰할 수 있을지에 대해 통계적이든 아니든 어떤 보장도 제공하기가 정말 어렵습니다. 안전이 중요한 시스템을 도입하려면 실제로 작동해야 합니다. 생명을 위험에 빠뜨리지 않는 안전한 자동차를 만들려면 어떻게 해야 할까요?”
Toyota Research Institute
Solution
TRI 팀은 문제를 해결하기 위해 다양한 솔루션을 비교한 끝에 Weights & Biases를 최고의 플랫폼으로 선택했습니다.
ML 팀은 실험 추적 및 예측 시각화를 위해 취약한 내부 도구와 임시 솔루션을 사용하는 대신 W&B의 경량 실험 추적 및 시각화 솔루션을 사용하여 표준화할 수 있었습니다.
W&B 대시보드는 머신 러닝 실무자에게 데이터셋과 모델 버전을 비교할 수 있는 명령 센터를 제공하여 모든 실험과 결과에 대한 신뢰할 수 있는 기록을 유지합니다. ML 엔지니어는 이제 모델 개발이라는 귀중한 작업에 자유롭게 집중하여 프로젝트 진행을 가속화할 수 있습니다.
“안전 표준이 매우 높기 때문에 공공 도로에서 테스트하기가 매우 어려운 로봇 시스템이나 자율 주행 자동차가 있는 경우 측정 기준을 명확하게 정의해야 하지만 동시에 지속적인 배포와 빠른 반복을 원합니다.”
Adrien Gaidon
Toyota Research Institute
Join the top innovators around the world using Weights & Biases
