ASRガイド 2

環境のセットアップ

AWS インスタンスを起動する自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。ここでは NVIDIA の NeMo と Weights & Biases を使って ASR システムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS 上で NeMo を動かすための環境構築を行います。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する。 2. インスタンスに SSH で接続し、ローカルのポート 8888 をフォワードする。 3. NVIDIA NGC から該当する Jupyter Notebook バンドルをダウンロードする。 4. NGC から NeMo の Docker コンテナをプルし、コンテナを起動する。 5. コンテナ内で Jupyter Notebook を起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR 用の W&B ノートブックが得られる。これで NeMo のコードを実行し、ASR モデルの学習と W&B による実験追跡を開始できる。p2.xlargeおよび使用する NVIDIA GPU 最適化 AMI自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事ではNVIDIAのNeMoとWeights & Biases（W&B）を使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIA GPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NVIDIA NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とWeights & Biasesによる実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebookを起動する。
AWS インスタンスに SSH で接続するローカルのポート8888をフォワードする。
Jupyter Notebook をダウンロードする ここから NGC。これをダウンロードします files.zip
NGC から NVIDIA NeMo の Docker コンテナをプルする 自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。ここではNVIDIAのNeMoとWeights&Biasesを使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIAGPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とW&Bによる実験追跡を開始できる。 docker pull nvcr.io/nvidia/nemo:1.6.1自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事ではNVIDIAのNeMoとWeights & Biases（W&B）を使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIA GPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NVIDIA NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とWeights & Biasesによる実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebookを起動する。
Dockerコンテナを起動する コマンドを使用して docker run --runtime=nvidia -it --rm --shm-size=16g -p 8888:8888 --ulimit memlock=-1 --ulimit stack=67108864 -v $(pwd):/notebooks nvcr.io/nvidia/nemo:1.6.1自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事ではNVIDIAのNeMoとWeights & Biases（W&B）を使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIA GPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NVIDIA NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とWeights & Biasesによる実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebookを起動する。
コンテナ内に入ったら、Jupyter Notebook を起動する 自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事では NVIDIA の NeMo と Weights & Biases（W&B）を使って ASR システムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS 上で NeMo を動かすための環境構築を行います。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する。 2. インスタンスに SSH で接続し、ローカルのポート 8888 をフォワードする。 3. NVIDIA NGC から該当する Jupyter Notebook バンドルをダウンロードする。 4. NGC から NeMo の Docker コンテナをプルし、コンテナを起動する。 5. コンテナ内で Jupyter Notebook を起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR 用の W&B ノートブックが得られる。これで NeMo のコードを実行し、ASR モデルの学習と Weights & Biases による実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebook を起動する。 jupyter notebook --port 8888自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事ではNVIDIAのNeMoとWeights & Biases（W&B）を使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIA GPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NVIDIA NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とWeights & Biasesによる実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebookを起動する。
移動する localhost:8888 へ Jupyter Notebook にアクセスする自動音声認識（音声→テキスト）と本記事で使用するツールについて把握したところで、まずはコードを実行できる環境を整えます。本記事ではNVIDIAのNeMoとWeights & Biases（W&B）を使ってASRシステムを学習し、実験やメトリクスを追跡する手順を説明します。手順は簡潔なチェックリスト形式で、AWS上でNeMoを動かすための環境構築を行います。 1. NVIDIA GPU最適化AMIを使ってp2.xlargeインスタンスを起動する。 2. インスタンスにSSHで接続し、ローカルのポート8888をフォワードする。 3. NVIDIA NGCから該当するJupyter Notebookバンドルをダウンロードする。 4. NGCからNeMoのDockerコンテナをプルし、コンテナを起動する。 5. コンテナ内でJupyter Notebookを起動する。 6. フォワードしたポート経由でノートブックにアクセスし、ダウンロードしたノートブックバンドルをアップロードして解凍すると、ASR用のW&Bノートブックが得られる。これでNeMoのコードを実行し、ASRモデルの学習とWeights & Biasesによる実験追跡を開始できる。 コンテナ内に入ったら、Jupyter Notebookを起動する。
ダウンロードしたものをアップロードする files.zip 3 の手順でダウンロードして解凍すると、ASR 用の Weights & Biases ノートブックにアクセスできます。