Microsoft が重みとバイアスを活用してインクの背後にあるモデルを構築した方法
「W&B は、私たちの実験結果をよりよく保存できる場所です。さらに、非常に使いやすいです。」
ダン・ニッセンバウム
主任研究員 ソフトウェア開発エンジニア
ジャーナル でインクファースト体験
Microsoft Journal は、Windows でタッチとペンを使用して、驚くほど自由な形式のインク ノート作成エクスペリエンスを実現するように根本から設計されています。これは、大きなタッチ サーフェス、検索や新しいジャーナルの作成などのマイクロインタラクション用のインク対応入力、そしてもちろん、紙のノートブックの使い慣れた操作性に大きく依存するページベースのキャンバスなどのユーザー エクスペリエンスの適応を意味します。ただし、これは、機械学習モデルを使用して、インクを使用するときにユーザーが行う自然なジェスチャーと、ユーザーが作成するコンテンツの固有の構造を理解し、出力としてタッチとペンのみを使用するジャーナリングに最適なエクスペリエンスを提供することも意味します。
会議中にメモを取る方法について考えてみましょう。単語、文章、段落を書くだけでなく、見出しに下線を引いたり、リストを作成したり、図を描いたりすることもあります。間違いを走り書きしたり、他のメモで注釈を付けたりすることもあります。Journal は、書き込んだ単語だけでなく、メモのこれらすべての要素の構造、関係、意味を理解する必要があります。そうすることで、スクラッチで消したり、タップして関連コンテンツを段階的に選択するなど、楽しくシームレスなリアルタイム エクスペリエンスを提供できます。
ここからが複雑になります。フリーフォーム キャンバス上のコンテンツの境界は明確ではありません。たとえば、図は単語と関連していて、単語も含んでいる場合があります。では、図はどこで始まり、どこで終わるのでしょうか。また、ページの端にある星は重要なコンテンツを強調するために使用できます。しかし、その星は何に関連付けられているのでしょうか。リスト項目ですか、それともリスト全体ですか。そもそもどのインク ストロークが星なのでしょうか。これらの構成要素の背後にある構造や意味は、基礎となるインク ストローク データでは伝えられません。
実際の紙幣がどのようなものかを考えれば考えるほど、問題が浮かび上がってきます。では、Journal チームは、デザイナーが意図したとおりに製品が機能するアルゴリズムをどのように構築したのでしょうか。巧みなモデリングと Weights & Biases とのスマートなコラボレーションによって実現しました。
W&B によるリモート コラボレーションの導入
まず、誰もが理解している現実から始めましょう。チームはこれまで以上に分散しており、このため知識の共有が難しくなっています。その結果、コラボレーションがさらに難しくなります。機械学習の実践者にとって、この課題はさらに重くのしかかります。使用しているデータがさまざまな場所にあり、準備状態も異なることが多いためです。このようなプロジェクトのモデルトレーニングには数週間かかることがあり、ミスや誤解により製品開発に数か月かかることもあります。
「プラットフォームのシンプルな点に、私はいつも感心しています」と、プリンシパル リサーチ ソフトウェア開発エンジニアの Dan Nissenbaum 氏は語ります。「『どのデータを使用しているのか? バージョンは 16 か 17 か?』と尋ねる心配をする必要がないのはうれしいです」。代わりに、チームはシングル ストローク データをW&B Artifactsから取得しているだけです。
アーティファクトについて考える 1 つの方法は、アーティファクトが時間内のブックマークであるということです。 1 つのアーティファクトから、下流でトレーニングに使用されたデータ、そのデータがどのような拡張を経たか、どのような依存関係に依存しているか、さらには実際に使用しているデータセットが何であるかまでがわかります。
たとえば、ご想像のとおり、Ink モデルのトレーニング データの一部は拡張されています。インク ストロークは本質的に乱雑なので、ストロークを傾斜させたり、ジッターを追加したり、ズームインしたりするなどの拡張は、実際の画像の場合と同様に重要です。ただし、トレーニング時には、そのデータがクリーンアップされているか、拡張されているかを知ることが重要です。つまり、パイプラインのどこにデータが存在するかを知ることが重要です。新しいものか、古いものか。データの系統を理解することは、どのプロジェクトでも重要ですが、トレーニング時間が長く、テラバイト単位のデータを扱うプロジェクトでは、ここでのミスはさらに大きなコストがかかります。
ダンが「磁器」と呼ぶアーティファクトを巧みに利用することで、W&B は、組織全体のさまざまな場所から一筆書きデータを呼び出し、その系統と依存関係を即座に理解するシステムを構築するための基礎を提供しました。これにより、チームは最新の情報を使用しているかどうかを二重、三重に確認する時間を減らし、最新の情報を使用していることだけを把握できるようになりました。アーティファクトはカスタマイズ可能で、チームにとって価値のある情報を記録できることを覚えておいてください。アーティファクトは、チーム全体が共通の真実を理解できるようにする、時間内のブックマークです。ダンが言うように、これは「データが追跡され、破損していないことを確認するための堅牢なバージョン管理システム」です。シンプルですが、本質的に強力です。
自分が作業すべき対象を推測するのではなく、把握することで、コラボレーションがはるかに簡単になります。同じアーティファクトを呼び出すだけで、同僚が数タイムゾーン離れていても、自分と同じデータで作業していることを確信できます。
さらに、W&B はモデル トレーニングの透明性も高めました。データの出所を知るだけでなく、W&B ではオーバーフィットしているかどうかを簡単に確認できるため、トレーニングの実行を後回しにせず早めに停止でき、貴重なコンピューティングと反復時間を節約できます。自分たちが何をしているのか、チームが何をしているのかを簡単に確認でき、一部のスクリーンショットやスプレッドシートから得られる情報よりもはるかに多くの情報を活用して、よりスマートな決定を下すことができました。Journal チームもすべての実験を W&B で実行しましたが、Tensorboard に比べて大幅にアップグレードされていることがわかりました。
「W&B に惹かれたのは、既存のアプローチでは、リモート チームや、追跡すべき実行回数が多く、数か月に渡って実行が繰り返されるトレーニング サーバーの増加に対応できないことに気付いたからです」と Dan 氏は言います。「W&B は、実験結果を保存するのに非常に適しています。しかも、非常に使いやすいです。」
複雑なものをシンプルにする
要約すると、Microsoft は複雑なプロセスを簡素化し、チームが適切なタイミングで適切な情報を使用して作業しているという自信を与えました。また、ニューラル ネットワークの実験プロセスを強化して、データとモデルの系統を完全に理解した上で、実行中と数か月後に何百ものバリエーションを簡単に視覚化して簡単に比較できるようにしました。Dan が言ったように、単純なことが本当に最も重要な場合もあります。
