M-KOPA는 W&B를 통해 모델 관리 워크플로우를 혁신합니다.
"모델 홍보를 위해 W&B 모델 레지스트리를 사용하는 것은 매우 유용했습니다. 모델의 전체 기록을 사용할 수 있으면 제품 관리와 같은 다른 부서에서도 배포 프로세스를 관리하는 데 매우 쉽게 도움이 됩니다."
Benedict Eugine
Data Scientist
모델 관리가 모든 머신 러닝 팀에 중요하지만, 핀테크와 같은 규제가 심한 산업에서 일하는 팀과 기술 및 비즈니스 제품 그룹에 통합된 소규모 애자일 데이터 과학 팀에게는 특히 중요합니다. 자동화되고 확장 가능한 시스템과 프로세스를 갖는 것은 효율적인 워크플로에 필수적입니다.
사하라 이남 아프리카 지역의 서비스가 부족한 시장에 사회적 책임감 있는 방식으로 디지털 자금을 제공하는 M-KOPA 의 ML 팀은 ML 모델과 워크플로가 내부 비즈니스 이해 관계자와 외부 감사원의 규정을 모두 준수하도록 해야 합니다.
M-KOPA 데이터 과학 팀은 가격 책정 및 전략적 의사 결정, 유지 상품 및 부채 시설에 대한 위험 평가, 신용 손실 및 고객 업셀 잠재력에 대한 예측 개선에서 중요한 역할을 합니다. 회사 포트폴리오를 관리하는 데 있어 ML 작업의 중요성을 감안할 때, Weights & Biases Model Registry를 중앙 허브 이자 단일 진실의 원천으로 사용하는 것은 M-KOPA ML 팀에게 게임 체인저였습니다.
모델 관리 허브로서의 W&B 레지스트리
M-KOPA의 직원 데이터 과학자인 데이비드 클라런스는 “[W&B 모델 레지스트리]를 사용하기 전에는 주로 임시 Jupyter 노트북이나 README, Excel 스프레드시트, 심지어 머릿속에서만 추적 예측 모델을 관리했습니다.”라고 말했습니다. “그곳은 좋은 곳이 아니었습니다.”
팀은 생산 모델에 대한 추적 및 전반적인 워크플로 관리를 개선하는 동시에 강력한 감사 추적을 유지하고 계보(모델이 어떻게, 왜 개발되었는지에 대한 세부 정보가 포함된 모델의 추적성과 재현성)를 구축하고자 했습니다. 또한 개인 간에 존재하는 기관 지식의 부담을 줄이고 ML 개발 및 생산 팀과 해당 기능적 이해 관계자 간의 협업을 개선하고자 했습니다.
팀은 기존 실험 추적을 세 가지 다른 유형의 실행으로 구성하여 시작했습니다. a) 승인된 생산 모델을 사용하여 비즈니스에서 사용하는 일일 예측을 생성하는 생산 예측 작업. b) 가장 최근에 사용 가능한 교육 데이터를 사용하여 “도전자” 모델을 만드는 예약된 자동 재교육 작업. 이 모델은 특정 검증 기준을 충족하는 경우 “QA”로 승격됩니다. c) QA 모델을 사용하여 일일 예측을 생성하고 QA 모델을 프로덕션으로 승격할 수 있는지에 대한 수동 결정을 알리는 QA 예측 작업.
아래 다이어그램은 워크플로를 보여줍니다. 모든 유형의 실행이 이미 존재했기 때문에(팀이 Weights & Biases에서 모든 실험을 추적했기 때문에) 모델 레지스트리를 사용하여 원활하게 작업을 시작할 수 있었습니다.
모델 관리를 위한 중앙 허브가 없다면 생산 모델을 추적하고 홍보하는 프로세스는 수동적이었고 잠재적으로 오류가 발생하기 쉬웠습니다. 모델 출시가 지연되었고 ML 팀과 비즈니스 이해 관계자 간의 전반적인 프로세스가 원활하지 않았습니다.
오늘날 전체 프로세스는 W&B 레지스트리를 통해 보호된 별칭을 통해 관리됩니다. 보호된 별칭은 스테이징, QA, 챌린저 또는 다른 모델 버전 번호와 같은 M-KOPA 모델 개발 파이프라인의 핵심 단계를 나타냅니다. 매일 “QA” 태그가 지정된 모델 버전은 인간 평가를 위해 QA 환경으로 승격되어 팀에 항상 프로덕션에 무엇이 있는지, 이전에 어떤 모델 버전이 사용되었는지, 그리고 다음에 무엇이 나올지에 대한 훨씬 더 명확한 감각을 제공합니다.
M-KOPA의 데이터 과학자 베네딕트 유진은 “모델 홍보를 위해 W&B 모델 레지스트리를 사용하는 것은 매우 유용했습니다.”라고 말했습니다. “모델의 전체 기록을 사용할 수 있으므로 제품 관리와 같은 다른 부서에서도 배포 프로세스를 관리하는 데 매우 쉽습니다. 개발자만큼 기술적이지 않은 사람이라도 사용하기 매우 쉽습니다.”
여러 부서의 많은 개인이 액세스할 수 있으므로 보호된 별칭 외에도 역할 기반 액세스 제어(RBAC)를 갖는 것은 워크플로 관리에 필요한 수준입니다. 어떤 회사도, 특히 재무 모델을 다루는 회사는 잘못된 사람이 실수로 잘못된 모델을 프로덕션에 배포할 위험을 감수할 수 없으므로 할당된 레지스트리 관리자만 모델의 보호된 별칭을 “프로덕션”으로 변경할 수 있는 액세스 권한이 있습니다.
팀은 현재 생산 전 최종 단계에 대한 수동 검사를 유지하고 있습니다. 훈련 및 검증을 위한 파이프라인에서 훈련된 챌린저 모델은 검증 검사를 거치고 통과하면 QA로 승격됩니다. 이러한 검증 검사에 실패하면 그에 따라 태그가 지정됩니다. ML 팀은 신용 부서의 이해 관계자와 협력하여 적절한 재무 검사를 거치고 만족스러우면 적절한 레지스트리 관리자 권한으로 QA 모델을 생산 모델로 수동으로 태그 지정하고 이 주기를 계속합니다. 모델의 재정적 특성과 관련 규정으로 인해 수동 검사가 필요합니다. 영향이 적은 모델의 경우 팀은 검증 검사 통과/실패 및 보호된 별칭을 통한 후속 모델 승격을 포함한 전체 프로세스를 자동화하고자 합니다.
금융을 재정의하고 포용성을 추진하기 위한 신뢰 구축
M-KOPA는 고객에게 공정성을 보장하고 사하라 이남 아프리카에서 금융 접근성을 혁신하는 데 전념하는 사명을 가지고 있으며, 모델과 ML 활동에 대한 감사원과 재무 관리자의 조사에도 직면해 있습니다. W&B 레지스트리, 특히 모든 별칭에 대한 모든 세부 정보를 기록 내내 추적하는 Action History 기능은 이 분야에서 특히 유용했습니다.
M-KOPA의 데이터 과학 책임자인 로지나 노튼은 “내부적으로 신뢰를 구축하는 것은 데이터 과학자에게 항상 어려운 일입니다.”라고 말했습니다. “우리가 하는 일의 대부분은 매우 모호하기 때문에 구체적인 증명을 통해 신뢰를 구축해야 합니다. Weights & Biases와 같은 시스템을 구축하고 질문에 답하는 프로세스를 설계하면 실제로 신뢰를 구축하는 데 도움이 됩니다.”
그리고 간소화된 워크플로, 개선된 계보 추적, 비즈니스 대응자와의 더 나은 협업을 통해 M-KOPA의 ML 팀은 가장 정교한 재무 모델을 제공하여 서비스가 부족한 인구에게 더 저렴하고 유연한 자금 조달 옵션을 제공할 수 있습니다. 가중치 및 편향, 특히 모델 레지스트리는 ML 프로세스를 함께 연결하는 데 핵심입니다.
노튼은 “회사의 목표는 항상 금융 및 디지털 포용을 가능하게 하는 것이었습니다.”라고 말했습니다. “포트폴리오의 이익을 극대화하는 방법이 아니라 도울 수 있는 사람의 수를 극대화하는 방법이 중요합니다.”