eights & Biases를 활용한 Canva의 간소화된 모델 관리 워크플로우 설계
"W&B 모델 레지스트리는 다양한 방식으로 우리의 삶을 간소화합니다. 이제는 실제로 사용할 준비가 된 모델만 보이기 때문에 사용자 경험에 불필요한 혼란이 줄어듭니다. 또한, 우리가 필요로 하는 모든 프로덕션 수준의 정보를 저장합니다."
Thibault Main de Boissiere
ML Platform Team Lead
Canva는 엔터프라이즈 소프트웨어 분야에서 가장 혁신적인 기업 중 하나로, 인기 있는 디자인 및 출판 도구로 매달 1억 5천만 명 이상의 활성 사용자를 자랑합니다. 이 회사는 AI에 많은 투자를 하고 있으며, Canva 디자인 내 텍스트 자동 번역, 새로운 이미지 기능 추가, 불필요한 세부사항 제거 등 다양한 AI 도구를 제공하고 있습니다.
AI에 대한 초점은 무대 뒤에서도 확대되었으며, Canva는 기계 학습 운영에 대한 혁신적인 접근 방식을 개척하여 수많은 과제를 해결하는 데 도움을 주었습니다. 생성 모델과 추천 시스템부터 개인화 모델과 검색 개선에 이르기까지 Canva는 더욱 즐거운 사용자 경험을 창출한다는 명목으로 ML에 많은 투자를 하고 있습니다.
.
이러한 ML 중심 문화와 투자의 큰 부분을 주도하는 사람은 Canva의 ML 플랫폼 팀장인 Thibault Main de Boissiere입니다. Thibault는 100명 이상의 ML 엔지니어로 구성된 Canva 팀이 재현 가능한 방식으로 모델을 교육하고 해당 모델을 원활하게 생산할 수 있도록 지원하며 팀의 파이프라인과 인프라를 유지 관리하는 일을 담당하고 있습니다.
.
Canva의 세계적 수준의 ML 팀은 Weights & 실험 추적을 위한 편향(W&B)과 모델 레지스트리를 활용하여 실험 배포를 촉진하는 중앙 집중식 허브 및 단일 창 역할을 합니다.
Sample model registry
모델 레지스트리를 통한 모델 관리 및 배포
Thibault와 그의 팀은 실험 모델과 프로덕션 준비가 된 모델 간의 명확한 구분을 원했습니다. W&B 모델 레지스트리를 사용하기 전에는 전체 배포 워크플로우에 더 많은 혼란이 있었습니다. 프로덕션 훈련 실행과 실험 훈련 실행을 구분하기 어려웠고, 배포 논리는 복잡한 태그 조합에 의존했습니다. W&B 모델 레지스트리를 사용함으로써 프로덕션과 실험 간의 명확한 구분이 가능해졌으며, 별칭을 통해 어떤 모델이 프로덕션에 배포되거나 A/B 테스트에 사용될지 사용자들이 더 명확하게 이해할 수 있었습니다.
팀의 많은 사람들이 이미 실험 추적을 위해 Weights & Biases를 사용하고 있었기 때문에, 모델 레지스트리 통합은 매끄럽고 매우 큰 영향을 미쳤습니다.
Thibault는 “W&B 모델 레지스트리는 다양한 방식으로 우리의 삶을 간소화합니다. 이제는 실제로 사용할 준비가 된 모델만 보이기 때문에 사용자 경험에 불필요한 혼란이 줄어듭니다. 또한, 우리가 필요로 하는 모든 프로덕션 수준의 정보를 저장합니다.”라고 말했습니다.
현재 W&B 모델 레지스트리는 Canva의 ML 워크플로우와 기술 스택의 중심에 위치하고 있으며, 여기에는 주문형 노트북과 분산 훈련을 지원하기 위한 Anyscale 활용, 종속성을 관리하기 위한 Nix 사용, 모든 프로덕션 워크플로우가 Amazon Elastic Container Service(ECS)에서 배포되는 것이 포함됩니다. Weights & Biases는 이제 Thibault와 Canva ML 팀이 실험을 용이하게 하고 배포 프로세스를 위한 데이터를 수집하는 데 필요한 단일 관점의 창을 제공합니다.
팀은 Weights & Biases를 사용하여 ML 워크플로우와 파이프라인을 더욱 간소화할 수 있는 더 큰 야망을 가지고 있습니다. Thibault는 “W&B 모델 레지스트리는 우리가 ML 배포를 수행하는 방식을 변화시킬 수 있는 핵심 방법이 될 수 있습니다.”라고 설명합니다.
Thibault는 “모든 MLE와 일부 제품 관리자들이 Weights & Biases에 접근할 수 있습니다. 우리는 W&B의 UI를 좋아하며, 기본 제공되는 모든 것이 매우 유용하고 시스템 메트릭이 매우 도움이 되며, 관리자 측에서 접근 및 보안을 쉽게 관리할 수 있습니다.”라고 말했습니다.