NVIDIA Cosmosの新シミュレーションレシピとは？雨の夜の走行映像を合成

NVIDIAは2026年11月2日、世界モデル「Cosmos」を使ったインタラクティブなシミュレーション向けの新しいレシピとチェックポイントを公開しました。自動運転、ロボット、手術支援の3領域が対象で、合成データの生成からNVIDIA NIMでの配備までを一気通貫で試せるようになっています。

室谷代表取締役

NVIDIA Cosmosは、NVIDIAが発表した物理AI向けの世界基盤モデル（world foundation model）のプラットフォームで、環境がどう変化するかを予測・生成するモデルと開発ツールをまとめたものです。今回の発表は、そのCosmosを「インタラクティブなシミュレータ」として使うための新しいレシピとチェックポイントが公開された、という話なんですよね。

テキトー教師DotAI 認定講師

単に新しいモデルが出たという話じゃないんですよ。昼間の走行映像を、同じ道路レイアウトと車両軌跡を保ったまま雨の夜に変換できる。

つまり「条件だけを変えたデータ」を合成できるわけで、これは物理AIの開発工程そのものに効いてきます。

NVIDIA Cosmosとは？物理AI向け世界モデル基盤の正体

室谷代表取締役

まず整理しておきたいのが、Cosmosの立ち位置です。NVIDIAの公式ブログによると、Cosmosは物理AI向けの世界基盤モデルと開発ツールのプラットフォームで、大きく2つの構成要素があります。

ひとつが「Cosmos Framework」、もうひとつが「Cosmos NIMマイクロサービス」です。

テキトー教師DotAI 認定講師

Cosmos Frameworkは、世界モデルの学習・モデル最適化・推論のためのオープンで完全モジュール式のフレームワークです。エージェント向けのスキルとレシピを提供していて、Cosmos 3だけでなく、NVIDIA Alpamayo、GR00T、Qwen、pi0.5、その他の互換Hugging Faceモデルへ対応を広げている最中だとされています。

室谷代表取締役

で、モデル本体が「Cosmos 3」です。公式リポジトリの説明を読むと、言語・画像・動画・音声・行動系列を単一のMixture-of-Transformersアーキテクチャで統合的に処理・生成するオムニモーダルな世界モデル群なんですね。

Vision-languageモデル、動画生成モデル、世界シミュレータ、world-actionモデルをひとつのフレームワークに包摂する、という表現になっています。

テキトー教師DotAI 認定講師

ここが誤解されやすいところで、Cosmos 3は「動画をきれいに作るモデル」ではなくて、物理世界の見え方の変化を扱うモデルなんですよ。だから自動運転やロボットの学習データ生成に直結する。

講座でもよく言うんですが、生成モデルと世界モデルは目的関数が違うんです。

室谷代表取締役

技術レポートでは、Cosmos 3のreasonerとgeneratorのタワー、統合された表現空間、位置埋め込みの定式化をそのまま引き継ぎつつ、インタラクティブシミュレーション向けに拡張していると書かれています。ゼロから別物を作ったのではなく、Cosmos 3を土台にポストトレーニングで特化させた、という構造ですね。

Cosmos 3の新シミュレーションレシピでできること——昼の走行映像を雨の夜に、深度映像をRGBに

室谷代表取締役

今回いちばん分かりやすいのが、自動運転向けの変換です。NVIDIAの投稿でも「Turn a daytime drive into a rainy night while keeping the same road layout and vehicle trajectories」と書かれていて、道路レイアウトと車両の軌跡を保ったまま、天候と時間帯だけを変えることができる。

テキトー教師DotAI 認定講師

これは学習データの水増しとは質が違うんですよ。軌跡が同じだから、知覚モデルや運転モデルの評価条件を揃えたまま、雨・夜という条件だけを差し替えられる。

比較実験が成立するわけです。

室谷代表取締役

公式ブログには具体的な仕組みも書かれていて、自動運転のチェックポイントはプロンプトと「World Scenario Map（WSM）」のコントロールを受け取ります。WSMは車線、物体、道路標示、交通標識、道路境界を表すものですね。

さらにRGBとLiDARの同時生成ではHDマップのrangemapコントロールを使い、初期LiDAR観測を任意で渡せる。プロンプトには天候・照明・時間帯・路面状況を書き、プレフィックスでカメラリグと視野の文脈を与える。

任意の初期カメラ画像で見た目を誘導できる、という構成です。

テキトー教師DotAI 認定講師

整理するとこうです。

• 入力: プロンプト（天候・照明・時間帯・路面状況）、WSMコントロール、任意の初期カメラ画像、HDマップrangemap（LiDAR同時生成時）
• 出力: マルチビューのRGB映像とLiDARスイープ
• 変換の考え方: 幾何と動きを保ち、照明・テクスチャ・背景を差し替える

室谷代表取締役

ロボット向けはもっと分かりやすくて、深度映像を詳細なRGB映像に変換します。照明、テクスチャ、背景を変えつつ、幾何と動きは保持する。

同じロボットの動きで、周囲だけが変わるわけです。

テキトー教師DotAI 認定講師

技術レポートでは、Cosmos3-Nano-Sim-Transferが深度映像とプロンプトからRGB映像を生成し、ロボットのデモンストレーションでは三人称視点を変えつつ、行動・状態・手首カメラの記録は保持すると説明されています。深度だけでなく、セグメンテーション、エッジ、ぼかし映像からも詳細なRGB観測を作れると公式ブログにあります。

室谷代表取締役

そしてカメラ操作への追従ですね。NVIDIAの投稿には「From a single image, Cosmos 3 generates views as the camera follows the dog, rises or moves sideways」とあって、1枚の画像からカメラが被写体を追う、上昇する、横に動くといった視点を生成する。

テキトー教師DotAI 認定講師

これは世界モデルにとって難しいタスクなんですよ。カメラの動きに応じて見え方が変わるということは、シーンの3次元構造をある程度理解していないと成立しない。

単なる画像の変形では破綻しますから。

室谷代表取締役

技術レポートのタイトルも「Interactive World Simulation with Cosmos for Physical AI」で、カメラナビゲーション、ロボットマニピュレーション、制御可能な動画変換、マルチビューの自動運転シミュレーションという4つの例が示されています。共通のポストトレーニングレシピで、Cosmos 3を対話型シミュレータに変換する、というのが論文の主張ですね。

Cosmos 3の使い方・始め方——Cosmos Frameworkのチェックポイントとエージェントスキル

室谷代表取締役

じゃあ実際どう始めるのか、という話です。Cosmos FrameworkはGitHubで公開されていて、チェックポイントはHugging Faceで配布されています。

MYUUUでもこういう配布形態のツールはよく触るんですが、まず環境構築の手順が公式にまとまっているのはありがたいですよね。

テキトー教師DotAI 認定講師

公式リポジトリのセットアップは、システム依存パッケージをaptで入れて、uv 0.11.29で同期する流れです。CUDA 13.0ならuv sync --all-extras --group=cu130-train、CUDA 12.8ならcu128-trainを選ぶ。

そのあと仮想環境を有効化して、重みをダウンロードする前にGPUとメディアのチェックを実行する。推奨のNGCベースイメージ（nvcr.io/nvidia/pytorch:26.06-py3）から始める場合はワンショットのクイックスタートが用意されています。

室谷代表取締役

学習のほうは、examples/配下のレシピが8GPU構成で、8×H100 80GBでテスト済みと書かれています。bash examples/launch_sft_vision_nano.shのような起動スクリプトがペアで用意されていて、GPU数に応じてNPROC_PER_NODEと並列度（DP/CP/FSDPシャード）を調整する形ですね。

テキトー教師DotAI 認定講師

推論はもっと手軽で、シングルGPUのクイック起動が示されています。python -m cosmos_framework.scripts.inferenceに--parallelism-preset=latency、入力JSON、出力先、--checkpoint-path Cosmos3-Nano、シードを渡す形です。

室谷代表取締役

今回の発表で面白いのが、エージェントスキルの整備です。.agents/skills/配下にSKILL.mdが置かれていて、Claude Code、Codex CLI、CursorなどAGENTS.mdを読むコーディングエージェントが、リクエストに合致すると自動で読み込む仕組みになっています。

テキトー教師DotAI 認定講師

スキルは6種類公開されています。整理するとこうです。

• cosmos3-setup: インストール、環境構築、チェックポイントのダウンロード、Docker
• cosmos3-codebase-nav: 「Xはどこにある」「パラメータYはどこで変える」という質問
• cosmos3-inference: オフライン／オンライン推論、並列化、サンプリングパラメータ
• cosmos3-post-training: SFTのポストトレーニングをエンドツーエンドで（データ準備、DCP変換、起動、エクスポート）
• cosmos-automl: reasonerのハイパーパラメータ探索とGEPAプロンプト最適化
• cosmos3-env-troubleshoot: インストール／実行時エラーの診断

室谷代表取締役

公式ブログではエージェントへの指示例まで載っていて、「このチェックポイントをこのデータセットでこのレシピを使ってポストトレーニングし、リビジョンを固定、データセットを検証、学習と評価のエピソードを分離、スモークテストを実行、設定を保存、N GPU時間で停止、3シードでベースモデルと比較せよ」という粒度で書かれています。ここまで踏み込むのは珍しいですよね。

テキトー教師DotAI 認定講師

自動運転のTransfer-Autoの推論例も具体的です。hf download nvidia/Cosmos3-Nano-Transfer-Autoでチェックポイントを取得し、torchrunで4プロセス、解像度720、35ステップ、--cp-size 4 --cfgp-size 1を指定する。

参照実行では720pの動画7本（30FPSで297フレーム）とLiDARスイープ99本が生成されると書かれています。

室谷代表取締役

検証ポイントも明示されていて、sample_outputs.jsonで成功を確認し、lidar.safetensorsで範囲と強度の値が有限であることを確認したうえで、WSMのアラインメントとカメラビュー間・LiDAR間の一貫性を検証する。地味ですが、こういうチェック手順が書いてあるかどうかで現場の工数は全然変わります。

テキトー教師DotAI 認定講師

Sim-Autoのほうは因果的・数ステップ蒸留版で、自動回帰ストリーミング生成ができます。AVポリシーや人間の運転入力がWSMレンダラを通じてシナリオを更新すると、観測を逐次的に生成し、生成されたカメラとLiDARの観測がポリシーに戻る。

これで閉ループ評価が成立するわけです。

室谷代表取締役

ポストトレーニングの順序についても注意書きがあって、ドメインやセンサーへの適応はTransfer-Autoを先にファインチューニングし、その適応済みチェックポイントをTF → TF-dCM → SF-DMDの順で蒸留する。蒸留済みのSim-Autoチェックポイントに通常のSFTをかけるのではなく、適応を先に済ませるのが推奨で、数ステップ生成の挙動を保つためだそうです。

NVIDIA NIMでCosmosをデプロイする手順とGPU別のVRAM要件

室谷代表取締役

開発環境で動かすだけならFrameworkで足りますが、アプリに組み込むならNIMマイクロサービスです。最適化コンテナでモデルを配備する仕組みで、量子化、投機的デコーディング、キャッシング、トークンプルーニング、KVキャッシュ対応ルーティングで推論を加速するとされています。

テキトー教師DotAI 認定講師

公式ブログには投機的デコーディングでH200上でおおよそ2〜3倍の平均高速化が測定されたと書かれています。あとストリーミングVLM推論でライブ映像を処理し、10倍低いレイテンシでサブ秒のアラートが可能とも。

室谷代表取締役

VRAM要件の表も出ています。ここは実務で一番見られるので、そのまま整理しておきます。

テキトー教師DotAI 認定講師

見てのとおり、ReasoningとGenerationで必要量がかなり違います。GenerationのCosmos3-NanoがBF16で58GiB、FP8で44GiB、FP8＋オフロードで31GiB。

Superになると150GiB、93GiB、38GiBと、オフロードの効き方が大きい。

室谷代表取締役

起動手順はこうです。LinuxにNVIDIAドライバ、Docker、NVIDIA Container Toolkitを入れて、NGC APIキーを発行しNGC Catalogアクセスを有効化。

export NGC_API_KEY='...'を設定して、printf '%s' "$NGC_API_KEY" | docker login nvcr.io --username '$oauthtoken' --password-stdinでログイン。イメージはnvcr.io/nim/nvidia/cosmos3:2.0.0、キャッシュディレクトリを作ってdocker runで起動します。

テキトー教師DotAI 認定講師

起動時の環境変数がポイントです。NIM_MODEL_TYPE=generator、NIM_MODEL_VARIANT=nano、NIM_PERF_PROFILE=latency。

ポート8000を公開し、--shm-size 16g、memlockとstack、nofileのulimitを設定する。数分待ってからcurl -fsS http://localhost:8000/v1/health/readyで準備完了を確認し、/v1/metadataで選択されたモデルとプロファイルを確認する流れです。

室谷代表取締役

パフォーマンスプロファイルはlatencyとthroughputの2種類。latencyは1リクエストを早く終えることを優先し、対話的な実験向け。

マルチGPU構成では1リクエストに複数GPUを共同で使う。throughputは単位時間あたりの処理数を優先し、データセット生成や同時接続ユーザー向けで、独立したレプリカが並列に処理します。

テキトー教師DotAI 認定講師

注意点も明記されていて、latencyは1、2、4、8GPUをサポート、throughputは2、4、8GPUの互換構成が必要です。シングルGPUの例でNIM_PERF_PROFILEだけthroughputに変えるとプロファイル選択に失敗する、と書かれています。

ここはハマりどころですね。

室谷代表取締役

対応GPUについては「20以上のNVIDIA GPUで最高性能」とうたっていて、四半期ごとに機能・最適化・セキュリティのアップデートが入る、ライセンスサポートあり、自動構成選択あり、とされています。料金体系については現時点では明らかにされていません。

自動運転・ロボット・手術、3領域それぞれのユースケースと提供モデル

室谷代表取締役

ここまでの話を領域ごとに整理しましょう。まず自動運転は2モデルです。

Cosmos3-Nano-Transfer-Autoは双方向生成でマルチビュークリップを一度にデノイズするオフライン合成データ生成向け。30fpsの入出力、最大400フレーム、480pまたは720pに対応し、長いシーケンスは自動回帰チャンキングで生成します。

テキトー教師DotAI 認定講師

もうひとつのCosmos3-Nano-Sim-Autoは因果的・数ステップ蒸留版で、自動回帰ストリーミング生成により閉ループ評価ができます。生成した観測がポリシーに戻るので、評価ループが閉じるわけです。

室谷代表取締役

ロボットはCosmos3-Nano-Sim-TransferとCosmos3-Nano-Sim-Bimanual。Sim-Bimanualはシーンとロボットの行動から次の視覚観測を生成し、YAMとAgiBotのembodimentに対応した双腕のインタラクティブシミュレーションを、ポリシーまたは人間が操作するジョイスティックで制御します。

テキトー教師DotAI 認定講師

役割分担がはっきりしていますね。Sim-Transferは物理シミュレータが更新した状態から見た目を生成し、Sim-Bimanualはシーンとロボット行動から直接次の観測を生成する。

前者はレンダリング、後者は予測、という違いです。

室谷代表取締役

手術はCosmos3-H-Embodied-NanoとCosmos3-H-Dreams。Embodied-NanoはCosmos3をベースにOpen-H-Embodimentでポストトレーニングされていて、ロボット行動から手術映像を生成する、映像から行動を予測する、両方を同時に生成する、という3通りができます。

初期RGBフレーム、タスクプロンプト、直近16個の実行済み行動、その後のロボット行動を入力に取ります。

テキトー教師DotAI 認定講師

手術環境は古典的なシミュレータにとって最難関のひとつなんですよ。組織の変形や物理的相互作用という複雑なマルチフィジックスの明示的モデリングが要るからです。

生成シミュレーションはそこを、同期された手術映像とロボットのキネマティクスから視覚的ダイナミクスを直接学ぶ、というアプローチで補完します。

室谷代表取締役

Cosmos3-H-DreamsはEmbodied-Nanoから蒸留された因果的・数ステップモデルで、ライブのロボットキネマティクスからフレームを生成し、人間または学習済みポリシーが制御するリアルタイム閉ループシミュレーションを実現します。実際のハードウェアで試す前に、術式の展開を探索してポリシーを評価できる環境になるわけですね。

テキトー教師DotAI 認定講師

チェックポイントはHugging Faceで公開されていて、PyTorchとvLLM-Omniをサポート、NVIDIA HopperとBlackwell GPUで検証済みと書かれています。レシピでGPU数、メモリ構成、推論設定を選ぶ形です。

なぜ今この発表か——物理AIにおける合成データ生成の課題とCosmosの狙い

室谷代表取締役

ここが本質なんですけど、物理AIの開発者は2つの課題に直面しています。ひとつはモデルを自社のセンサー、タスク、データに適応させること。

もうひとつは、そのモデルを確実にアプリへ配備すること。公式ブログはこの2つを明示的に挙げています。

テキトー教師DotAI 認定講師

背景ブリーフにもあるとおり、物理AIの学習には多様な環境での経験が必要なのに、実世界での収集はコストとリスクが大きい。だからシミュレーションが要る。

でも従来の物理シミュレータは、手術のような複雑なマルチフィジックスの明示的モデリングが困難でした。

室谷代表取締役

Cosmosのアプローチは、シーンの幾何、組織の変形、物理的相互作用を明示的にモデリングする代わりに、世界基盤モデルが同期された映像とロボットキネマティクスから視覚的ダイナミクスを直接学ぶ、というもの。技術レポートでも「学習された視覚事前分布が環境の見え方とシーン条件の範囲を広げ、構造化されたコントロールが外部の物理状態へのグラウンディングを保つ」と説明されています。

テキトー教師DotAI 認定講師

この「構造化されたコントロール」がミソなんですよ。完全に自由生成させると物理的な整合性が崩れる。

WSMやHDマップ、初期フレーム、行動系列といった制御信号を入れることで、見た目の多様性と物理状態への接地を両立させている。

室谷代表取締役

技術レポートでは、対話型シミュレーションの要件として、視覚生成と制御忠実度の結合、状態変化の保持、応答性の高い実行の3つを挙げています。そしてポストトレーニングでドメイン固有のコントロールに従うことと、自分が生成した観測から継続することを学ばせ、蒸留で計算量を削り、ストリーミング実行で繰り返しの相互作用を支える。

テキトー教師DotAI 認定講師

論文の表現を借りれば、これは「共有されたポストトレーニングフレームワーク」で、各ドメインが独自のコントロール、データ、評価要件を持ち寄る形です。汎用のレシピがあって、そこにドメイン知識を差し込む。

だから3領域を同じ枠組みで語れるわけですね。

室谷代表取締役

個人的に効くと思ったのは、ポリシー駆動のシミュレータ有用性については別途クローズドループの検証が必要だ、と論文が自分で書いているところです。過度な主張をしていない。

ここは誠実だなと。

テキトー教師DotAI 認定講師

教育の現場でも同じで、生成したデータで学習したモデルが本当に実環境で通用するかは別問題です。合成データの品質と、実環境での転移性能は分けて評価しないといけない。

受講生さんにもいつも言っているんですが、データが増えたことと精度が上がったことはイコールじゃないんですよ。

室谷代表取締役

あと地味に大きいのが、Cosmos FrameworkがCosmos 3以外のモデルにも広がっている点です。NVIDIA Alpamayo、GR00T、Qwen、pi0.5、その他の互換Hugging Faceモデル。

ポストトレーニングの基盤としてはQwenのテキストモデルやQwen3.5/3.8のマルチモーダル、Qwen3-VL/Qwen3-VL-MoEもサポート対象として挙がっています。

テキトー教師DotAI 認定講師

アルゴリズムもDPO、GRPO、PPO、OPD、DiffusionNFT、SFTと揃っています。PPOはembodied-agentのトレーニングを含むactor-critic型で、シミュレーション内の身体性ポリシーのRLも対象。

ロールアウト、報酬、学習のロールを共有GPUまたは別プールで動かせる、と書かれています。

室谷代表取締役

つまりCosmosは「モデル単体」ではなく、データ生成、ポストトレーニング、RL、最適化、配備までを含む開発基盤として売りに来ている。今回のシミュレーションレシピ公開は、その基盤が実際に動く状態で配られた、という意味が大きいんですよね。

テキトー教師DotAI 認定講師

日本での提供状況や料金体系については現時点では明らかにされていませんが、チェックポイントがHugging Faceで公開され、フレームワークがGitHubで公開されている以上、試すこと自体のハードルは低い。まずは参照レシピを再現して、自分のセンサー、行動空間、データに適応させるところから始めるのが正道だと思います。

よくある質問

室谷代表取締役

最後に、よく聞かれそうな点を整理しておきます。

テキトー教師DotAI 認定講師

まず「NVIDIA Cosmosとは何か」。物理AI向けの世界基盤モデルと開発ツールのプラットフォームで、Cosmos FrameworkとCosmos NIMマイクロサービスから構成されます。

モデル群がCosmos 3です。

室谷代表取締役

「Cosmos 3の使い方は」。Cosmos Frameworkをセットアップし、Hugging Faceからチェックポイントを取得して、推論スクリプトかエージェントスキル経由で実行する流れです。

セットアップはuv 0.11.29を使い、CUDA 13.0または12.8のグループを選びます。

テキトー教師DotAI 認定講師

「料金は」。NIMの料金体系については現時点では明らかにされていません。

チェックポイントとフレームワークは公開されています。

室谷代表取締役

「日本で使えるか」。地域別の提供状況については現時点では明らかにされていません。

テキトー教師DotAI 認定講師

「どんなGPUが必要か」。表のとおりで、GenerationのCosmos3-NanoならBF16で58GiB、FP8で44GiB、FP8＋オフロードで31GiBです。

ReasoningのCosmos3-Nanoは23.1GiB。学習レシピは8×H100 80GBでテスト済みとされています。

室谷代表取締役

「従来版との違いは」。今回の発表では、Cosmos 3をベースにしたシミュレーション向けの新レシピとチェックポイントが追加され、エージェントスキルとNIM配備手順が整備された点が新しいところです。

個別の旧バージョンとの数値比較は今回の資料には含まれていません。

テキトー教師DotAI 認定講師

「他の世界モデルと比べてどうか」。今回の発表資料には他社モデルとの比較やベンチマーク数値は含まれていないので、ここでは触れません。

判断材料としては、公開されているチェックポイントを自分のタスクで再現して評価するのが確実です。

室谷代表取締役

まずはTransfer-Autoの参照実行を回して、720pの7本とLiDARスイープ99本が出るところまで確認する。そこから自分のWSMやセンサー構成に合わせていく。

それが一番早い入口だと思います。