W&B Launch 소개
Weights & Biases 플랫폼에 대규모 신규 기능을 출시합니다. 알아두셔야 할 핵심 사항은 다음과 같습니다: 이 글은 AI로 번역되었습니다. 오역이 의심되면 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
소개
오늘날 머신러닝을 수행하는 모든 산업과 조직에서 더 큰 파라미터 수를 가진 모델이 빠르게 확산되고 있습니다. 그 결과 모델 학습에는 점점 더 많은 연산 자원이 필요해지고 있으며, 더 많거나 더 성능이 좋은 GPU에 접근할 수 있는 원격 컴퓨트 환경으로, 로컬 노트북에서 벗어나 이동해야 합니다.
Weights & Biases의 목표는 머신러닝 팀을 위한 최고의 도구를 만드는 것입니다. 다음에 무엇을 만들어야 할지 판단하기 위해, 우리는 종종 서로 다른 워크플로와 조직 구조를 가진 다양한 조직의 실무자 팀과 함께 일하며 현장에 깊이 들어갑니다. 그리고 최근 공통적으로 드러난 한 가지 주제가 있습니다:
실무자들은 ML 워크플로를 확장하고 분산하기 위해 필요한 컴퓨트 리소스에 쉽게 접근하지 못합니다.
실무자��은 자신의 컴퓨트 환경을 직접 관리하느라 과도한 시간을 쓰거나, 컴퓨트 리소스와 Kubernetes 클러스터에 접근하기 위해 MLOps 엔지니어와 조율·협업을 하느라 시간을 허비하고 있습니다. 최악의 경우에는 로컬 머신의 단일 노드에서 모델 학습 작업이 끝나기만을 그저 기다리곤 합니다.
저희는 이번 출시를 통해 ML 실무자와 MLOps 팀 모두가 이 문제를 해결할 수 있도록 돕게 되어 매우 기쁩니다 W&B Launch, 워크플로 커넥터로서 코드를 자동으로 패키징하고 원하는 대상 환경에서 작업을 실행합니다. 더 성능이 좋은 GPU에 접근할 수 있는 단일 머신으로 ML 학습 작업을 보내거나, 여러 대의 머신이 병렬로 작업을 처리하는 EKS 같은 클러스터로 보낼 수 있습니다. 요약하면, Launch는 복잡함 없이 컴퓨트에 손쉽게 접근할 수 있게 해줍니다.
W&B Launch의 작동 방식
MLOps 팀이 한 번만 간단히 설정하면 Launch를 조직의 인프라와 컴퓨트 환경에 연결하고, 각 클러스터에 대한 Queue를 생성해 활성화할 수 있습니다. 이렇게 마련된 Queue는 이후 ML 실무자들이 몇 번의 간단한 클릭만으로 재사용하며 모델 학습을 대폭 확장하는 데 활용할 수 있습니다.
Launch를 사용하면 사용자는 추가 컴퓨트 리소스를 갖춘 연결된 대상 환경에 손쉽게 작업을 실행할 수 있으며, 이 모든 과정을 익숙하고 사용하기 쉬운 W&B 인터페이스 내에서 처리할 수 있습니다. 저희가 대화한 많은 ML 실무자들은 Kubernetes 환경을 설정하고 관리하는 데 필요한 기본적인 친숙도와 기술 역량을 갖추지 못한 경우가 많았습니다. Launch는 이러한 복잡성을 깔끔하게 추상화합니다.
Launch는 작업을 자동으로 컨테이너화하여 클릭 한 번으로 모델 재현성을 제공합니다. 이렇게 생성된 컨테이너는 환경 스냅샷을 충실히 담고 있어, 규제가 엄격한 산업 분야나 AI 거버넌스에 대한 검증이 강화된 조직에 특히 중요합니다. 실행을 손쉽게 재현할 수 있을 뿐 아니라, 더 나아가 … 스윕스 Launch에서 하이퍼파라미터를 빠르게 변경하고 튜닝할 수 있는 기능은 W&B를 사용하는 ML 실무자의 일상을 더욱 즐겁게 만들어 줄 또 하나의 도구가 될 것입니다. 이를 통해 실무자들은 모델 구축과 실험처럼 진정으로 중요한 일에 집중할 수 있습니다.
“Launch는 ML 기법의 최적화, 실험, 벤치마킹 작업을 크게 단순화해 주어, 저희가 결과의 신뢰성과 재현성에 더욱 집중할 수 있게 해줍니다.” — Orlando Avila-Garcia, AI Principal Researcher ARQUIMEA.
또한 우리는 원활하고 효율적이며 확장 가능한 ML 워크플로를 구축·유지하는 데 있어 MLOps의 귀중한 역할을 잘 알고 있으며, Launch를 통해 이들의 일상도 한층 더 편해지도록 돕고자 합니다. 일회성 인프라 설정을 마친 후에는, MLOps 엔지니어가 매번 모델 학습 작업을 실행할 때마다 새로운 큐를 구성하거나 프로비저닝하지 않아도 실무자들에게 접근 권한을 제공할 수 있습니다. 동시에 작업 실행 전 과정에 대한 관측성과 거버넌스를 유지하면서도 병목이 되거나 진행 속도를 늦추지 않을 수 있습니다.
무엇보다도 MLOps 팀은 큐와 인프라 리소스를 체계적이고 효율적으로 활용해, 실무자에게 스마트 디폴트와 모범 사례를 제공하는 중요한 역할을 수행할 수 있습니다. 더 이상 해당 영역의 전문가가 아닐 수 있는 사용자들의 코드나 인프라 설정을 디버깅하느라 시간을 낭비하거나, 잡 실행과 컴퓨트 접근을 위해 임시방편의 내부 시스템을 구축할 필요가 없습니다. 우리는 Launch가 ML 실무자와 MLOps 간의 협업을 잇는 가교 역할을 하게 될 것이라고 생각합니다.
모든 사용자께 Launch 사용을 권합니다! 로컬 머신의 단일 노드 연결은 기능 플래그를 켜면 모든 Weights & Biases 사용자에게 제공됩니다. 외부 클러스터 연결은 엔터프라이즈 프리미엄 기능입니다. 사용해 보고 싶으시다면 언제든지 저희에게 연락해 주세요!
Add a comment