Microsoft가 가중치를 활용하는 방법 & 잉크 뒤에 모델을 구축하는 편향
"W&B는 우리의 실험 결과를 담기에 훨씬 더 좋은 곳입니다. 게다가 사용하기도 매우 쉽습니다."
Dan Nissenbaum
Principle Research Software Development Engineer
저널을 통한 잉크 우선 경험
Microsoft Journal은 처음부터 Windows에서 터치와 펜을 사용하여 놀라운 자유형 잉크 노트 작성 경험을 제공하기 위해 설계되었습니다. 즉, 대형 터치 표면, 검색 또는 새 저널 만들기와 같은 마이크로 상호 작용을 위한 잉크 지원 입력, 그리고 물론 종이 노트북의 친숙함에 크게 의존하는 페이지 기반 캔버스와 같은 사용자 경험 적응을 의미합니다. 그러나 기계 학습 모델을 사용하여 사람들이 잉크를 칠하는 동안 하는 자연스러운 제스처와 그들이 만드는 콘텐츠의 내재적 구조를 이해하여 터치와 펜만을 출력으로 사용하여 저널링에 완벽하게 적합한 경험을 제공하는 것을 의미합니다.
회의 중에 메모를 적는 방식을 생각해 보세요. 단어, 문장, 단락을 쓰는 것 외에도 제목에 밑줄을 긋고, 목록을 만들고, 다이어그램을 그릴 수도 있습니다. 실수를 낙서하거나 다른 메모로 메모에 주석을 달 수도 있습니다. 저널은 쓴 단어뿐만 아니라 메모의 모든 구성 요소의 구조, 관계, 의미를 이해해야 지워 지우거나 점차 더 큰 범위의 관련 콘텐츠를 선택하기 위해 탭하는 것과 같은 즐겁고 원활한 실시간 경험을 제공할 수 있습니다.
여기서 복잡해집니다. 자유형 캔버스의 콘텐츠 경계는 명확하지 않습니다. 예를 들어, 다이어그램은 단어와 관련이 있고 단어를 포함할 수도 있습니다. 그렇다면 다이어그램은 어디에서 시작하고 끝날까요? 또는 페이지 가장자리의 별은 중요한 콘텐츠를 강조하는 데 사용할 수 있습니다. 하지만 그 별은 무엇과 관련이 있을까요? 목록 항목 또는 전체 목록? 그리고 어떤 잉크 스트로크가 별일까요? 이러한 구성의 구조나 의미는 기본 잉크 스트로크 데이터에서 전달되지 않습니다.
실제 현실 세계의 노트가 어떤 모습인지 더 많이 생각할수록 더 많은 문제가 발생하는 것을 보게 될 것입니다. 그렇다면 저널 팀은 디자이너가 의도한 대로 제품이 작동하도록 하는 알고리즘을 어떻게 구축했을까요? 영리한 모델링과 Weights & Biases와의 많은 스마트한 협업을 통해 말입니다.
W&B와 원격 협업 도입
우리 모두가 이해하는 현실부터 시작해 보겠습니다. 팀은 그 어느 때보다 분산되어 있고 이로 인해 지식 공유가 더 어려워졌습니다. 결과적으로 협업이 더 어려워집니다. 머신 러닝 실무자에게 이 과제는 더욱 어렵습니다. 사용하는 데이터가 종종 다른 위치에 있고 준비 상태가 다르기 때문입니다. 이와 같은 프로젝트의 모델 학습 시간은 몇 주가 걸릴 수 있으며 실수와 오해로 인해 제품 개발에 몇 달이 더 걸릴 수 있습니다.
“플랫폼의 간단한 것들이 계속해서 저를 감동시킵니다.” Principle Research Software Development Engineer인 Dan Nissenbaum이 말했습니다. “‘이봐, 우리가 어떤 데이터를 사용하고 있지? 버전 16인가 17인가?’라고 묻는 것에 대해 걱정할 필요가 없어서 좋죠.” 대신, 팀은 W&B Artifacts 에서 단일 스트로크 데이터를 가져오고 있습니다.
아티팩트에 대해 생각하는 한 가지 방법은 그것들이 시간상의 북마크라는 것입니다. 단일 아티팩트에서, 당신은 어떤 데이터가 훈련에 다운스트림으로 사용되었는지, 어떤 증강을 거쳤는지, 어떤 종속성에 의존하고 있는지, 그리고 심지어 실제로 어떤 데이터 세트를 사용하고 있는지 알 수 있습니다.
예를 들어, 예상하셨겠지만 Ink 모델의 일부 학습 데이터는 증강되었습니다. Ink 스트로크는 본질적으로 지저분하므로 스트로크를 기울이거나 지터를 추가하거나 확대하는 것과 같은 증강은 실제 이미지에서와 마찬가지로 중요합니다. 그러나 학습할 때 해당 데이터가 정리되었는지, 증강되었는지 아는 것이 중요합니다. 기본적으로 이것이 파이프라인의 어디에 있습니까? 새 것입니까? 오래된 것입니까? 단순히 데이터 계보를 이해하는 것은 모든 프로젝트에 필수적이지만, 긴 학습 시간과 테라바이트 규모의 데이터가 있는 프로젝트의 경우 이러한 실수는 훨씬 더 큰 비용이 듭니다.
Dan이 “Porcelain”이라고 부르는 Artifacts를 영리하게 사용하여 W&B는 빌딩 블록을 제공하여 조직 전체의 여러 위치에서 단일 스트로크 데이터를 호출하고 즉시 그 계통과 종속성을 이해하여 팀이 최신 정보를 사용하고 있는지 두 번, 세 번 확인하는 데 시간을 덜 쓰고 대신 사용하고 있다는 사실만 알 수 있도록 시스템을 구축할 수 있었습니다. Artifacts는 사용자 정의가 가능하며 팀에 가치 있는 정보를 기록할 수 있다는 점을 기억하세요. 그것은 전체 팀이 공유된 기본 진실을 이해할 수 있도록 하는 시간적 책갈피입니다. 그가 말했듯이, 그것은 “데이터가 추적되고 손상되지 않도록 하는 견고한 버전 관리 시스템”입니다. 간단하지만 본질적으로 강력합니다.
추측이 아닌, 자신이 작업해야 할 것으로 작업하고 있다는 것을 아는 것은 협업을 훨씬 더 쉽게 만듭니다. 동료가 몇 개의 시간대가 떨어져 있더라도 동일한 Artifact를 호출하기만 하면 동료가 동일한 데이터로 작업하고 있다는 것을 확신할 수 있습니다.
그 외에도 W&B는 모델 학습을 더 투명하게 만들었습니다. 데이터가 어디에서 왔는지 아는 대신, W&B는 사물이 과적합되었는지 쉽게 확인할 수 있도록 하여 나중에가 아니라 일찍 학습 실행을 중단할 수 있었고, 귀중한 컴퓨팅 및 귀중한 반복 시간을 절약할 수 있었습니다. 그들은 단순히 자신이 무엇을 하고 있는지, 팀이 무엇을 하고 있는지 보고, 일부 스크린샷과 스프레드시트에서 제공하는 것보다 훨씬 더 많은 정보로 더 현명한 결정을 내릴 수 있었습니다. Journal 팀도 모든 실험을 W&B를 통해 실행했고, Tensorboard보다 엄청난 업그레이드라고 생각했습니다.
“우리는 W&B에 끌렸습니다. 우리의 기존 접근 방식이 원격 팀과 점점 더 많은 훈련 서버, 추적해야 할 실행이 너무 많고, 종종 몇 달씩 떨어져 있기 때문에 효과가 없다는 것을 깨달았기 때문입니다.” 댄이 말했습니다. “W&B는 우리의 실험 결과를 위한 훨씬 더 나은 집입니다. 게다가 사용하기도 매우 쉽습니다.”
복잡한 것을 단순하게 만들기
요약하자면, Microsoft는 복잡한 프로세스를 단순화하고 팀에 적절한 시기에 적절한 정보를 가지고 작업하고 있다는 확신을 주었습니다. 그리고 그들은 신경망 실험 프로세스를 굳건히 하여 실행 중과 몇 달 후에 수백 가지 변형을 시각화하여 쉽게 비교할 수 있게 했으며, 모든 것이 데이터와 모델 계통에 대한 완전한 이해를 바탕으로 했습니다. Dan이 말했듯이, 때로는 간단한 것이 실제로 가장 중요합니다.
