NemotronLabs RE-USEとは？NVIDIAが公開した超軽量・多言語の音声強調モデル
NemotronLabs RE-USEの概要
超軽量
パラメータ数はわずか960万（9.6M）
多言語対応
多言語の音声強調に対応
商用利用可能
公式モデルカードに商用利用可能と明記
公開・配布
NVIDIAが2026年10月22日にHugging Faceで公開。デモとダウンロードが可能
アーキテクチャ
畳み込みエンコーダ＋畳み込みデコーダ＋Mambaによる双方向30層構成
開発の背景
NVIDIA研究チームの「RE-USE」という取り組みの一環として開発
室谷代表取締役NemotronLabs RE-USE（ネモトロンラボ・リユース）は、NVIDIAが2026年10月22日にHugging Faceで公開した音声強調モデルで、録音に混ざった雑音や反響を取り除いて話し声をクリアに復元できるんですよね。パラメータ数はわずか960万（9.6M）です。
テキトー教師DotAI 認定講師音声強調はUniversal Speech Enhancement、略してUSEとも呼ばれる技術です。今回のモデルは多言語対応で、しかも商用利用可能と公式モデルカードに明記されています。
まずはNVIDIA公式の投稿を確認しておきましょう。
まずはNVIDIA公式の投稿を確認しておきましょう。
室谷代表取締役公式スレッドでも「Sound on」とあるように、実際に音の違いを聴いて確かめてほしいというメッセージが込められています。Hugging Face上でデモが動いていて、モデルのダウンロードもできるわけです。
テキトー教師DotAI 認定講師ここで押さえておきたいのは、このモデルがNVIDIAの研究チームによる「RE-USE」という取り組みの一環として開発されたという点です。単に軽量なモデルが出たという話じゃないんですよ。
室谷代表取締役アーキテクチャも特徴的で、畳み込みエンコーダと畳み込みデコーダ、そして時間周波数モデリングにMamba（マンバ）を使った双方向30層構成だとモデルカードに書かれています。Transformer系とは違う系列モデリングの手法ですね。
テキトー教師DotAI 認定講師Mambaは状態空間モデル系のアーキテクチャで、長い系列を扱うときの効率が特徴とされます。そこに9.6Mという小ささを組み合わせているのが今回のポイントです。
NemotronLabs RE-USEでできること——雑音・反響・クリッピングまで復元する仕組み
NemotronLabs RE-USEの対応範囲と特徴
幅広い劣化に対応
付加雑音、残響、クリッピング、帯域制限、コーデック劣化、パケットロス、低品質マイクを想定
7種類のサンプリングレート
8kHz・16kHz・22.05kHz・24kHz・32kHz・44.1kHz・48kHzのモノラル音声を同一モデルで扱う
言語非依存(language-agnostic)
言語を問わず性能を出せる設計
重複発話の処理
主要話者を保持し、他の話者を抑圧するよう学習(会議録音などを想定)
笑い声保持の派生版
笑い声を重視する場合はNVIDIA-NemotronLabs-RE-USE-laughterを使用
室谷代表取締役モデルカードに挙げられている劣化の種類がかなり広いんですよ。付加雑音、残響、クリッピング、帯域制限、コーデック劣化、パケットロス、低品質マイク。
実世界の録音で起きる劣化をひととおり想定しているわけです。
実世界の録音で起きる劣化をひととおり想定しているわけです。
テキトー教師DotAI 認定講師講座で受講生さんに説明するときも、音声系の前処理は「劣化の種類ごとに別モデル」になりがちだと伝えています。今回はそれをひとつのモデルで、しかも複数のサンプリングレートで扱えるのが違いですね。
室谷代表取締役対応する入力サンプリングレートは8kHz、16kHz、22.05kHz、24kHz、32kHz、44.1kHz、48kHzの7種類。8kHzから48kHzまでモノラル音声を扱えると公式に書かれています。
テキトー教師DotAI 認定講師電話音声のような8kHz帯域から、音楽制作で使う48kHzまで同じモデルで対応できる。これは実務ではかなり助かります。
入力レートごとにモデルを切り替える手間がなくなるので。
入力レートごとにモデルを切り替える手間がなくなるので。
室谷代表取締役言語に依存しない設計、language-agnosticというのも明記されています。多言語対応というと語学ごとの学習データを大量に用意するイメージですが、言語を問わず性能を出せるようにしているんですね。
テキトー教師DotAI 認定講師もうひとつ見逃せないのが、重複発話の扱いです。このモデルは主要話者を保持し、他の話者を抑圧するように学習されていると書かれています。
会議録音のような場面を想定した設計ですね。
会議録音のような場面を想定した設計ですね。
室谷代表取締役あと、笑い声の保持を重視したい場合は別バージョンのNVIDIA-NemotronLabs-RE-USE-laughterを使うように、とモデルカードに案内があります。用途に応じて派生版が用意されているわけです。
テキトー教師DotAI 認定講師笑い声って音声強調で消えやすい音なんですよ。そこをあえて保持する版を分けて出してくるあたり、コンテンツ制作者の用途を意識しているなと感じます。
NemotronLabs RE-USEの使い方・始め方——Hugging Faceのデモとモデルダウンロード手順
NemotronLabs RE-USEのローカル推論手順
- 01Docker環境を用意Mambaのセットアップ用に、事前ビルド済みのDocker環境が配布されている
- 02帯域拡張が必要ならresampyを導入pip install resampy を実行する
- 03モデルをダウンロードhuggingface-cli download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE --local-dir-use-symlinks False
- 04雑音入り音声を配置noisy_audio/ フォルダに置く
- 05推論を実行sh inference.sh を実行する
- 06強調後の音声を確認enhanced_audio/ に保存される
室谷代表取締役試し方は大きく2つで、Hugging FaceのGradioデモに雑音入りの音声や動画をアップロードする方法と、モデルをダウンロードしてローカルで推論する方法です。まずはデモで聴き比べるのが手軽ですね。
テキトー教師DotAI 認定講師ローカルで動かす場合の手順もモデルカードに丁寧に書かれています。整理するとこうです。
- Mambaのセットアップ用に、事前ビルド済みのDocker環境が配布されている
- 帯域拡張が必要な場合は
pip install resampyを実行する huggingface-cli download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE --local-dir-use-symlinks Falseでリポジトリを取得する- 雑音入りの音声ファイルを
noisy_audio/フォルダに置き、sh inference.shを実行する - 強調後の音声は
enhanced_audio/に保存される
室谷代表取締役スクリプト内のBWE引数で目標帯域を指定すれば、帯域拡張を有効にできると書かれています。ここは実際に触ってみないと感覚がつかめない部分ですね。
テキトー教師DotAI 認定講師注意点も明記されています。学習データが10秒未満のクリップで構成されているため、30秒を超える長い音声やGPUのメモリ不足（OOM）が起きる場合は、
出力は
long_noisy_audio/ にファイルを置いて sh inference_chunk.sh を実行する手順に切り替えます。出力は
Long_enhanced_audio/ に保存されます。室谷代表取締役チャンク分割の
chunk_size_in_seconds と hop_length_portion はスクリプト内で直接設定できると。長尺のポッドキャストや講演録音を処理するときはこの手順が必須になりそうです。テキトー教師DotAI 認定講師動作環境はNVIDIA Ampere世代のGPU、具体的にはA100が想定されていて、対応OSはLinuxです。推論の高速化エンジンにはTritonが使われると書かれています。
室谷代表取締役手元のGPUで動くかどうかは、まずこのAmpere世代という条件を確認するところからですね。
9.6Mパラメータで大規模モデル超え？URGENT 2025での性能を比較表で確認
室谷代表取締役ここが一番おもしろいところで、URGENT 2025の非ブラインドテストセットで、9.6Mのモデルが250Mや500Mのモデルと比べて遜色ない、むしろ一部の指標で上回っているんですよ。
テキトー教師DotAI 認定講師数字を並べるとわかりやすいので、公式の比較表から主要なところを整理します。
| モデル | パラメータ数 | PESQ | STOI | Spk | CAcc |
|---|---|---|---|---|---|
| Noisy（劣化音声） | - | 1.34 | 0.50 | 0.73 | 81.29 |
| Sidon | 250M | 1.73 | 0.62 | 0.74 | 84.68 |
| UniPASE | 500M | 2.17 | 0.76 | 0.81 | 87.28 |
| NemotronLabs RE-USE | 9.6M | 2.57 | 0.78 | 0.86 | 89.17 |
室谷代表取締役フルセットで見ると、PESQが2.57、STOIが0.78、話者類似度のSpkが0.86、ASRの文字正解率CAccが89.17。500MのUniPASEと比べてもPESQ、Spk、CAccで上回っているわけです。
テキトー教師DotAI 認定講師サンプリングレート別のサブセットも見ておきましょう。44.1kHzのサブセットでは、Resemble Enhanceに対してPESQが2.47対1.33、CAccが91.54対47.22。
48kHzのサブセットではClearVoiceに対してPESQが2.59対2.09、CAccが91.05対89.92となっています。
48kHzのサブセットではClearVoiceに対してPESQが2.59対2.09、CAccが91.05対89.92となっています。
室谷代表取締役16kHzのサブセットでもUniSEに対してPESQが2.47対1.46、CAccが87.09対54.82。特定のレートに偏らず、どの帯域でも安定して強いというのが表から読み取れます。
テキトー教師DotAI 認定講師ただし指標の意味は押さえておきたいですね。PESQは音声品質、STOIは明瞭度、SBERTはSpeechBERTScore、LPSはレーベンシュタイン音素類似度、SpkはECAPA-TDNNによる話者類似度、CAccはOWSM v3.1によるASRの文字正解率です。
室谷代表取締役全部が全部で勝っているわけではなく、たとえばUTMOSのような指標では大規模モデルが上回る項目もあります。そこは公平に見るべきところですね。
テキトー教師DotAI 認定講師とはいえ、パラメータ数が桁で違うモデルに対してこの性能を出しているのは事実です。軽量ゆえの低遅延・低コストで動かせることを考えると、実用上のインパクトは大きいですよ。
料金・提供範囲——商用利用は可能？ライセンスと動作環境をチェック
室谷代表取締役ここは実務者として一番気になるところです。モデルカードには「This model is ready for commercial use」、つまり商用利用可能と明記されています。
テキトー教師DotAI 認定講師ライセンスはOpenMDW License Agreement version 1.1、表記はOpenMDW-1.1です。NVIDIAのオープンモデル系で使われているライセンスですね。
室谷代表取締役提供範囲についても整理しておくと、Hugging Faceでの公開日は2026年10月22日、展開地域はGlobalと書かれています。日本からも利用できる扱いですね。
テキトー教師DotAI 認定講師動作環境はNVIDIA Ampere世代のGPU、A100が想定されていて、対応OSはLinux。推論の高速化にはTritonが使われます。
室谷代表取締役モデルのバージョンはNVIDIA-NemotronLabs-RE-USE_v1。ファイル形式はSafetensorsで、テンソル型はF32、モデルサイズは9.61Mパラメータと記載されています。
テキトー教師DotAI 認定講師学習データも開示されていて、約2500時間の合成データ。内訳はLibriVox（英語、約350時間）、LibriTTS（英語、約200時間）、VCTK（英語、約80時間）、WSJ（英語、約85時間）、Multilingual Librispeech（独・英・西・仏、約450時間）、CommonVoice 19.0（独・英・西・仏・中国語、約1300時間）などです。
室谷代表取締役雑音データとしてAudioset+FreeSoundのノイズが約180時間、シミュレーションされた室内インパルス応答が約6万サンプル、マイクのインパルス応答がMicIRPから約70サンプル。データの作り方まで公開されているのは再現性の面でありがたいですね。
テキトー教師DotAI 認定講師なお、このプロジェクトは現時点では外部からのコントリビューションを受け付けていないと明記されています。コントリビューションを前提にした関わり方はできない点は押さえておきましょう。
室谷代表取締役あと、NVIDIAはAIモデル全般について、NVIDIA GPUで高速化される設計だと説明しています。CUDAライブラリなどのハードウェアとソフトウェアの組み合わせで、CPUのみの環境より速い学習・推論ができるという位置づけです。
なぜ今このモデルが重要なのか——音声生成AIのデータ品質を底上げする狙い
室谷代表取締役モデルカードの用途欄が示唆的で、コンテンツ制作者が録音の音声品質を改善する用途と、研究者がTTSやSpeech LLMといった音声生成モデルの学習用データセットの品質を高める用途の2つが挙げられています。
テキトー教師DotAI 認定講師後者が本質なんですよ。音声生成モデルの品質は学習データの品質に強く依存します。
実世界の録音には雑音や残響が混ざるので、そこを軽量モデルで一括クレンジングできると、データセット作りが現実的になります。
実世界の録音には雑音や残響が混ざるので、そこを軽量モデルで一括クレンジングできると、データセット作りが現実的になります。
室谷代表取締役MYUUUでも音声データを扱うことがありますが、前処理は地味にコストがかかる工程なんですよね。9.6Mで多言語・複数レート対応というのは、パイプラインに組み込みやすいスペックです。
テキトー教師DotAI 認定講師しかも商用利用可能なライセンスで、Hugging Faceで重みが公開されている。研究用途だけでなく、プロダクトに組み込む選択肢があるわけです。
室谷代表取締役音声生成AIの競争が激しくなる中で、表側の生成モデルではなく、その土台になるデータ品質を底上げするモデルをNVIDIAが出してきた。これは地味ですが効いてくる動きだと思います。
テキトー教師DotAI 認定講師講座でも「生成モデルだけ追いかけていると、データ側の進化を見落とす」と伝えているんですよ。今回の発表はまさにその典型例ですね。
室谷代表取締役まずはHugging Faceのデモで自分の音声を聴き比べてみるのがおすすめです。30秒を超える長い素材はチャンク分割の手順を使うのをお忘れなく。
よくある質問
Q. NemotronLabs RE-USEは無料で使えますか？
テキトー教師DotAI 認定講師モデルはHugging Faceで公開されていて、ライセンスはOpenMDW-1.1、商用利用も可能とモデルカードに明記されています。APIの従量課金のような料金体系については公式ページに記載がなく、現時点では明らかにされていません。
Q. 日本語の音声にも対応していますか？
室谷代表取締役モデルカードではlanguage-agnostic、つまり言語に依存しない設計であることが明記されています。ただし学習データの内訳として明示されている言語は英語、ドイツ語、スペイン語、フランス語、中国語です。
日本語での具体的な評価数値は示されていないので、そこは実データで確認する必要があります。
日本語での具体的な評価数値は示されていないので、そこは実データで確認する必要があります。
Q. どのくらいの長さの音声を処理できますか？
テキトー教師DotAI 認定講師学習データは10秒未満のクリップで構成されています。30秒を超える長い音声やGPUのメモリ不足が起きる場合は、
long_noisy_audio/ に置いて sh inference_chunk.sh を実行するチャンク分割の手順を使います。Q. 必要なGPUは何ですか？
室谷代表取締役モデルカードではNVIDIA Ampere世代、具体的にはA100が想定ハードウェアとして挙げられています。対応OSはLinuxです。
Q. 笑い声が消えてしまうのが気になります。
テキトー教師DotAI 認定講師笑い声の保持を重視する場合は、別途用意されているNVIDIA-NemotronLabs-RE-USE-laughterを使うようにモデルカードで案内されています。
Q. 複数人が同時に話している録音はどうなりますか？
室谷代表取締役重複発話については、主要話者を保持し他の話者を抑圧するように学習されていると明記されています。全員の声を残す用途ではなく、主話者を聞き取りやすくする設計だと理解しておくのがよいですね。
