ASR ガイド

環境のセットアップ

AWS インスタンスを起動するここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行できる環境を整えます。 まず最初にインスタンスを起動します。AWS にて NVIDIA GPU 最適化 AMI を使った p2.xlarge インスタンスを立ち上げ、Jupyter 用にポート 8888 をフォワードして SSH で接続します。次に NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードします。 その後、NVIDIA NGC から NVIDIA NeMo の Docker コンテナを取得して起動し、コンテナ内で Jupyter Notebook を起動します。ブラウザでフォワードしたポートにアクセスし、ダウンロードしたノートブックのパッケージをアップロードして解凍し、ASR と Weights & Biases（W&B）用のノートブックを開きます。 以上の6つの手順を実行することで、NeMo を使った ASR の学習と W&B による実験トラッキングが行える AWS 環境が整います。 AWS インスタンスを起動するp2.xlargeおよび使用する NVIDIA GPU 最適化 AMIここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使ってコンテナを起動します。 コンテナ内に入ったら、Jupyter Notebook を起動する に移動する へ Jupyter Notebook にアクセスする
AWS インスタンスに SSH で接続するおよびポート8888をフォワードします。
Jupyter Notebook をダウンロードする ここ（NGC）これをダウンロードします。 files.zip
NGC から NVIDIA NeMo の Docker コンテナをプルする ここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIANGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIANGC から NVIDIANeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights&Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights&Biases による実験トラッキングが行える AWS 環境が整います。 docker pull nvcr.io/nvidia/nemo:1.6.1ここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使ってコンテナを起動します。 コンテナ内に入ったら、Jupyter Notebook を起動する に移動する へ Jupyter Notebook にアクセスする
Docker コンテナを起動する コマンドを使って docker run --runtime=nvidia -it --rm --shm-size=16g -p 8888:8888 --ulimit memlock=-1 --ulimit stack=67108864 -v $(pwd):/notebooks nvcr.io/nvidia/nemo:1.6.1ここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使ってコンテナを起動します。 コンテナ内に入ったら、Jupyter Notebook を起動する に移動する へ Jupyter Notebook にアクセスする
コンテナ内に入ったら、Jupyter Notebook を起動する NGC から NVIDIA NeMo の Docker コンテナをプルする ここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行する環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使って コンテナ内に入ったら、Jupyter Notebook を起動する jupyter notebook --port 8888ここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使ってコンテナを起動します。 コンテナ内に入ったら、Jupyter Notebook を起動する に移動する へ Jupyter Notebook にアクセスする
に移動する localhost:8888 へ Jupyter Notebook にアクセスするここまでで自動音声認識（ASR）と本記事で使用するツールの概要が分かったので、まずはコードを実行するための環境を整えます。 1. NVIDIA GPU 最適化 AMI を使って p2.xlarge インスタンスを起動する 2. SSH でインスタンスに接続し、Jupyter 用にポート 8888 をフォワードする 3. NVIDIA NGC から配布されている Jupyter Notebook パッケージをダウンロードする 4. NVIDIA NGC から NVIDIA NeMo の Docker コンテナをプルして起動する 5. コンテナ内で Jupyter Notebook を起動し、ブラウザからフォワードしたポートにアクセスできるようにする 6. ダウンロードしたノートブックパッケージをアップロードして解凍し、ASR と Weights & Biases 用のノートブックを開く 以上の6つの手順を実行すれば、NeMo を使った ASR の学習と Weights & Biases による実験トラッキングが行える AWS 環境が整います。 Docker コンテナを起動する コマンドを使ってコンテナを起動します。 コンテナ内に入ったら、Jupyter Notebook を起動する に移動する へ Jupyter Notebook にアクセスする
ダウンロードしたファイルをアップロードする files.zip ステップ3でダウンロードしたファイルをアップロードして解凍し、ASR と Weights & Biases 用のノートブックにアクセスできるようにします。