Weights and Biases는 Insight Partners에서 4,500만 달러 기금을 조성했습니다. 저는 저희의 빠른 성장에 깜짝 놀랐으며, Shawn, Chris와 제가 왜 이 회사를 시작하기로 했는지, 그리고 이제 앞으로 어디로 나아갈지에 대해 말씀드리기 위해 잠시 시간을 내고 싶었습니다.

Weights and Biases에서 저희의 임무는 간단한 것으로, 바로 머신러닝 실무자들을 위한 훌륭한 툴을 개발하는 것입니다. 1) 저희는 한때 머신러닝 실무자였고 2) 지난 20년간 머신러닝 실무자들을 위한 툴을 개발해왔으며 3) 지속적으로 머신러닝 실무자들의 요구 사항에 귀 기울여 왔기 때문에 이를 잘 수행할 수 있습니다.

저희는 간단한 통합을 통해 신뢰할 수 있는 툴을 구축하고자 하지만, 마법은 업습니다. 저희는 머신러닝 실무자들의 일상 업무를 크게 개선함과 동시에, 팀이 협업과 투명성을 향상시킬 수 있는 툴을 구축하고자 합니다.

더 말씀드리기에 앞서, 당사의 실험 추적 또는 초매개변수 검색 툴을 사용해 보지 않으셨다면, 한 번 사용해 보시기 바랍니다! 다섯 줄 미만의 통합 코드로 모든 머신러닝 실험을 추적, 시각화, 공유할 수 있습니다. 샘플 대시보드 를 통해 어떤 모습일지 살펴보실 수 있으며, 갤러리에서 수많은 예제를 확인하실 수 있습니다.

머신러닝 실무자들을 위한 제품 개발을 하려는 이유

저는 머신러닝이 영원한 변혁의 힘이 될 잠재력이 있다고 믿습니다. 머신러닝이 무엇을 할 수 있는지에 대해 수많은 고귀한 주장을 들어왔습니다. 여러분께서는 자율주행차에 대한 이런 모든 고귀한 주장을 믿지 않을 수도 있지만, 컴퓨터 비전을 통해 농약 사용을 줄이려는 Blueriver의 연구나 단백질 폴딩에서의 혁신적인 발전 이 머신러닝 알고리즘이 우리의 삶을 풍요롭게 하고, 환경적 지속성을 돕고, 질병 치료의 잠재력을 가지고 있음을 보여주고 있다는 것을 부인할 수는 없습니다.

제가 머신러닝에 대해 낙관하는 가장 큰 이유 중 하나는 바로 제가 지난 20년간 머신러닝 커뮤니티와 함께 일해왔으며, 대체로, 이들은 믿을 수 없을 정도로 사려 깊고 이상적인 사람들의 모임이기 때문입니다. 이들은 인류를 돕고 세상에 긍정적인 영향을 줄 수 있는 것들을 개발하는 것에 열정적입니다.

머신러닝 실무자들을 위한 정말로 훌륭한 툴은 유용한 머신러닝 모델의 생성을 가속화하고 머신러닝이 좋은 결과를 가져올 수 있도록 도와줍니다.

Product feedback session with Peter Welinder at OpenAI

현재 머신러닝 툴이 중요한 이유

10년도 채 되지 않아 머신러닝은 단순한 연구 주제에서 우리가 매일 상호작용하는, 지구상 거의 모든 산업에 영향을 미치는 기술에 이르게 되었습니다. 프로덕션 지향적인 툴과 워크플로우는 이를 따라잡지 못했습니다. 소프트웨어는 주로 안정성을 위해 워크플로우와 개발자 툴 개선에 50년 이상을 보냈지만, 여전히 매일 버그를 경험하고 있습니다.

머신러닝, 특히 딥러닝은 컴퓨터에서 실행된다는 점에 있어서 소프트웨어처럼 보이지만 우리에게 익숙한 소프트웨어 세계에서의 수많은 가정을 깨뜨립니다. 기존의 소프트웨어와는 달리, 머신러닝 모델은 쉽게 설명할 수 있는 논리(logic)가 없습니다. 그리고 머신러닝 모델은 기존의 소프트웨어와는 다르게 크고 점진적으로 디핑(diff) 하지 않기 때문에 소프트웨어 스타일의 버전 제어가 제대로 작동하지 않습니다.

실제로, 이것은 안전하고, 신뢰할 수 있으며, 감사 가능한(auditable) 프로덕션 시스템을 구축하기 위해 노력하는 가장 책임 있는 머신러닝 실무자 및 팀들이 수십 년 전 소프트웨어 애플리케이션용으로 해결된 문제에 대한 자체 임시 솔루션을 구축하게 됨을 의미합니다. 예컨대, 특정한 버전 제어 없이 프로덕션 소프트웨어를 배포하는 회사가 지구상에 없을 수도 있습니다. 그러나 대부분의 Fortune 500 머신러닝 팀은 체계적인 버전 제어를 사용하지 않기 때문에 모델이 어떤 데이터에 대해 훈련되었는지, 어떤 모델이 특정 시점에 실행되었는지조차 추적하기 매우 어렵습니다.

이는 모델 개발자들에게는 불편함 그 이상입니다. 궁극적으로, 모델이 체계적으로 추적되지 않는 경우, 모델이 안전한지 확인하는 것은 불가능합니다.

Weights and Biases 툴이 특별한 이유

저는 우리가 이 문제를 저희만의 방법으로 잘 해결할 수 있다고 믿습니다.

MLOps의 첫 회사들은 하향식 판매에 초점을 맞췄으며, 엔드-투-엔드 플랫폼을 통해 재현성 및 신뢰성을 해결할 수 있다며 엔지니어링 리더들을 설득했습니다. 전체 팀이 플랫폼 및 프로세스를 사용하는 한 수많은 개선이 가능합니다.

그러나 뛰어난 머신러닝 실무자들은 엔드-투-엔드 플랫폼에 제약을 받고 있다고 느낍니다. 머신러닝 모범 사례는 빠르게 변화하고 한 회사가 모든 문제를 해결할 수는 없습니다. Github 및 Data Dog와 같이 지난 수십 년간 성공한 소프트웨어 개발자 기업은 이러한 방식으로 일하지 않습니다. 이 두 기업은 특정 문제를 해결하고 경영진이 아닌 개발자들의 훌륭한 경험에 초점을 맞추고 있습니다. 결론적으로 소프트웨어 경영진의 가장 큰 고민은 개발자들을 계속 만족시키는 것에 있습니다. 이는 머신러닝 분야에 특히 더 해당합니다. 여러분의 회사에서 머신러닝 실무자들이 좋아하는 툴을 사용하고 있지 않다면, 뛰어난 머신러닝 팀을 꾸릴 가능성은 없습니다. 이것이 제가 MLOps에서는 하향식 판매가 적절하지 않고, 장기적으로 이러한 기업들이 성공하지 못하리라 생각되는 근거입니다.

MLOps의 다음 유형의 기업은 저에게 있어 데브옵스(devops) 팀이 데브옵스 팀을 위해 개발한 제품처럼 보입니다. 하드웨어와 로우 레벨 소프트웨어의 작동 방식을 상세히 이해를 상정하고 있습니다.

제가 저희 툴을 가장 자랑스럽게 생각하는 때는 저희가 머신러닝 팀에서 이미 나타난 비공식적인 협업 패턴을 지원하고 체계화하는 볼 때입니다. 그 한 가지 예는 Sarah Jane이 잠재 공간(Latent Space)이 더 나은 모델 구축을 위해 저희 모델을 사용하는 방법에 대해 상세히 설명한 The Science of Debugging with W&B Reports에 제시되어 있습니다.

앞으로 나아갈 방향

앞으로 더 나은 툴이 절실히 필요합니다. 저희의 자금조달을 통해 고품질의 소프트웨어 개발과 동시에 가능한 한 빨리 이러한 요구를 해결할 수 있습니다.

Weights and Biases는 실험 추적 툴로 처음 시작했으며, 많은 사용자가 여기에 의존하고 있는지에 대해 생각하면 자랑스럽기 그지없습니다. 동시에 저희 사용자들은 일상 업무에서의 다른 문제점 해결을 계속해서 저희에게 요청하고 있습니다.

저희는 머신러닝 실무자들의 워크플로우 상의 많은 문제를 최대한 해결하고자 합니다. 작년에 저희는 가벼운 초매개변수 최적화 툴인 스윕(sweeps)을 출시했으며, 모델 및 데이터세트 추적에 사용할 수 있는 버저닝 시스템인 아티팩트(artifacts)를 출시했습니다. 올해에는 모델 평가 및 예측 시각화 툴을 출시할 예정이며 더 많은 작업이 현재 진행 중입니다.

저희는 고객님들을 이해하고 유용한 제품을 만들기 위해 끊임없이 노력하고 있는 얼리 마켓(early market)의 선두주자입니다. 참여 또는 저희 툴 사용 및 툴에 대한 피드백이 있으시면, 저희는 언제나 여러분들을 기다리고 있습니다. 아래를 확인해 주시기 바랍니다:

• 채용 – 구직 신청
• 문서 – 툴에 대해 자세히 알아보기
• Colab – 툴 사용해보기
• W&B 커뮤니티 – Slack 커뮤니티에 가입하기
• 데모(Demo) 요청 – 머신러닝팀용 데모 요청