MARZ のビジュアル FX に AI を活用
「人々が W&B の価値を認識し始めると、それは爆発的に広がり、現在では ML チームの全員が社内のあらゆるものを W&B に基づいて構築しています。」
トーマス・デイヴィス
研究チームリーダー
エミー賞にノミネートされたスタートアップ
『ワンダヴィジョン』、『ウォッチメン』、『ウェンズデー』。これらの映画の共通点は何でしょうか? 驚異的な視覚効果 (VFX) です。
偶然にも、これらはすべて同じ VFX 会社MARZ (Monsters Aliens Robots Zombies の略) によって制作されました。このような映画の魔法を表現するには、多くのリソースと資金が必要であることは驚くことではありません。少なくとも以前はそうでした。MARZ は、テクノロジーを活用して記録的なタイムラインでクラス最高の製品を提供することで定評があり、業界に革命を起こしている AI 対応の VFX スタジオです。一気見できるストリーミング テレビの時代に、MARZ は機械学習 (ML) と VFX を融合する扉を開き、時間、労力、コストを節約しています。
エンターテインメントの効率化を推進
VFX というと、モンスター、エイリアン、ロボット、ゾンビなど、存在しない生き物を作り出すことを思い浮かべるのが自然です。スポットライトを浴びずに隠れている (そして観客がほとんど気づかない) もう 1 つの用途は、継続性を確保するための平凡ではあるが必要な作業です。
映画制作における連続性は、ショットからショットへ、シーンからシーンへとすべての詳細に一貫性を保つという原則です。各ショットは前のショットからシームレスに流れているように感じられ、リアリズムの感覚が強化されます。しかし、一貫性を保ち、流動性と連続性を維持することは、控えめに言っても困難です。一部の制作スタッフは、ウィッグのラインを修正するために、特殊効果予算の少なくとも80％を費やしたと言います。
MARZ の ML チームの目標は、従来の手作業で煩雑なワークフローをスピードアップし、クリエイティブな作業に集中できるようにするツールを構築することです。同社の最初の ML 製品である Vanity AI は、老化、若返り、人工装具、デジタル メイクアップ用に構築された、ハリウッド対応の初のエンドツーエンド ML ツールです。このテクノロジーは、従来の VFX パイプラインよりも 300 倍高速で、コスト効率が大幅に向上し、容量の制約もありません。
たとえば、目の下のたるみを考えてみましょう。これまで、VFX スタジオは手作業のプロセスに依存しており、アーティストはたるみをトレースし、その領域に追加のエフェクトを適用し、それをすべてのフレーム、すべてのショット、映画全体で繰り返し行わなければなりませんでした。Vanity AI を使用すると、アーティストは自動的に目の下のたるみの除去を適用でき、ダイヤルを動かして目的の編集に一致する結果を選択するだけで済みます。
Vanity AI を使用した編集前後の画像
W&B によるモデルの評価
現在、MARZ では ML が頻繁に使用されていますが、以前からそうだったわけではありません。MARZ は ML チームを設置する前から 5 年間存在していました。これは MARZ にとって興味深い利点です。つまり、同社にはモデルを構築するためのトレーニング データとして使用できる過去の作業がたくさんあるということです。
高品質のトレーニング データ、スケーラブルな GPU コンピューティング インフラストラクチャへのアクセス、適切な開発者ツールは、モデル開発プロセスの重要な要素です。MARZ は、スケーラブルなデータ ストレージと高性能コンピューティング リソースにアクセスするために、NVIDIA GPU と Amazon Web Services の両方を活用しています。最高のモデルが本番環境にプッシュされるようにするために、MARZ はW&B Tablesなどの専用の AI 開発者ツールに依存しています。
MARZ は、各ショットごとに、あらゆる細部を追跡し、さらに重要なことに、高レベルのパターンを理解するのに役立つ表を生成します。以下の表は、さまざまな実験におけるフレームごとのピクセル エラーをチームに示しています。
さらに、すべてのショットの全体的なエラーを確認するための概要テーブルが作成されます。
テーブルを使用することで、チームは重要な情報を取得し、どのフレームで苦労しているかを簡単に確認できるようになりました。これにより、迅速に行動して次のステップを踏み出すことができました。「W&B は、データに固有のテスト プロセスを構築するためのツールを提供してくれました」と、MARZ の研究チーム リーダーである Thomas Davies 氏は述べています。
MARZ は、テーブルに関する追加のコンテキストを含め、その他の重要な調査結果を文書化するために、W&B レポートを活用しています。MARZ のレポートの多くは、さまざまな実験がどのように実行されたかをショットごとに分析したものです。チームはレポートを定期的に使用しているため、全員が状況を把握でき、チーム全体が同じ認識を持つことができます。
トーマス氏は W&B の初期の推進者でしたが、現在では MARZ の全員が W&B で実験を行っています。「人々が W&B の価値に気づき始めると、爆発的に普及し、ML チームの全員が今では社内のすべてを W&B で構築しています」とトーマス氏は語ります。
創造性を育む
VFX 能力の不足に対処するために独自の AI 部門を設立したことから始まった MARZ は、業界で最も急速に成長している VFX スタジオの 1 つに成長しました。MARZ が構築しているツールは、アーティストがワークフローで頻繁に直面する冗長な手順を排除し、最も重要なこと、つまりアートに集中できるようにします。
MARZ は、VFX ソリューションに最適な AI を開発するために、データセットの分析と理解、モデルのパフォーマンスの測定とデバッグ、チーム全体での重要な洞察の共有を W&B に依頼しています。MARZ はアーティストのニーズを最優先に考え、エンターテイメント業界に革命を起こしています。W&B は、この取り組みに少しでも貢献できることを嬉しく思っています。
Vanity AI の詳細については、MARZ のデモ ビデオをご覧ください。