2026年11月17日

NVIDIAの「LidarVerse」とは?LiDARワールドモデルで実走行にない視点を生成

LidarVerse(リダーバース)は、NVIDIA(エヌビディア)の研究部門NVIDIA Researchが公開した、リアルタイムで動く統合型のLiDARワールドモデルです。車両が実際には撮影していない視点の走査を合成したり、HDマップから新しいシーンを生成したり、センサーが次に見るものを予測したりできます。

室谷室谷代表取締役
NVIDIA Researchの「LidarVerse」が公開されました。ひとことで言うと、LiDARのためのワールドモデルなんですよね。

公式の説明では「異なるLiDARセンサーのスキャンをシミュレーションする最初のモデル」と位置づけられています。
テキトー教師テキトー教師DotAI 認定講師
これは単に新しいシミュレータが出たという話じゃないんですよ。生成・予測・再シミュレーションという別々だと思われていたタスクを、1つのチェックポイントで切り替えて動かす設計になっている。

そこが研究として面白いところです。

NVIDIA LidarVerseとは?何が新しいのか

LidarVerseの推論モード切替(利用可能なシーン証拠で決まる)

利用可能なシーン証拠は?

YES / 証拠なし
  • 生成(new-world generation)
NO / 証拠あり
  • LiDARの観測プレフィックスあり → 予測
  • 疎な観測スイープあり → 空間キャッシュを錨にした再シミュレーション
室谷室谷代表取締役
まず前提を揃えておくと、LiDARはレーザーを照射して周囲を3Dで捉えるセンサーで、自動運転車の知覚に使われます。カメラが画像を得るのに対して、LiDARは点群、つまり3Dの点の集まりとして空間を記録するんですよね。
テキトー教師テキトー教師DotAI 認定講師
で、今回のLidarVerseの新しさは「生成と再構成ベースのシミュレーションを、単一の条件付きワールドモデルに統合した」点にあります。公式ページでも“From new-world generation to reconstruction-grounded resimulation”とうたわれています。
室谷室谷代表取締役
ここが重要なところで、推論のモードが「別のアーキテクチャ」や「別の予測ヘッド」で決まるのではなく、利用可能なシーン証拠によって決まる、と。証拠がなければ生成、LiDARの観測プレフィックスがあれば予測、疎な観測スイープがあれば空間キャッシュを錨にした再シミュレーション、という具合に同じモデルが切り替わるわけです。
テキトー教師テキトー教師DotAI 認定講師
従来のLiDARシミュレーションには難しさがありました。記録済みの点群からメッシュなどの表面を抽出して新視点を描く「明示的再構成」は誤差が大きく、しかもビーム拡散のない理想センサーを仮定していた。

NVIDIA自身、2023年にNeRF型の「Neural Lidar Fields」で新視点合成を発表していますが、これはまだ研究段階の手法で、シーン間の汎化や動的環境への対応が課題とされていました。
室谷室谷代表取締役
つまり「記録にない視点のLiDARを、実時間で、複数センサーに対応して生成する」ことが未解決だった。そこにLidarVerseが入ってきた、という流れなんですよね。

LidarVerseでできること——生成・予測・再シミュレーションを1モデルで

LidarVerseの3つのレジームと入力インターフェース
生成(Generation)
観測されたシーン形状がない状態で、シーンレベルの条件から新しい世界を合成し、生成されたスイープからローリング空間キャッシュを構築する
予測(Forecasting)
観測されたLiDARプレフィックスを入力すると、同じモデルが点群の予測器になる。評価設定は10Hzで観測30フレームから将来30フレームを予測
再シミュレーション(Resimulation)
疎に観測されたスイープが永続的な空間キャッシュを形成し、シーンごとの最適化なしに汎化可能な再シミュレーションを錨付けする。新規視点の内挿と外挿をシーンごとの最適化なしで行う
入力インターフェース
HDマップ、アクターのレイアウト、テキストを入力に含む。統合された双方向の教師モデルがLiDARプレフィックス・HDマップ・空間キャッシュ・テキストを1つのインターフェースで扱う
Interactive Action-Conditioned Generation
記録シーンとegoアクションを選ぶと、要求したアクションに応じたLiDARロールアウトを生成するデモ。例:記録シーンでegoが左折したらセンサーは何を見るかを生成できる
テキトー教師テキトー教師DotAI 認定講師
公式ページでは3つのレジームが示されています。整理するとこうです。
  • 生成(Generation): 観測されたシーン形状がない状態で、シーンレベルの条件から新しい世界を合成し、生成されたスイープからローリング空間キャッシュを構築する
  • 予測(Forecasting): 観測されたLiDARプレフィックスを入力すると、同じモデルが点群の予測器になる
  • 再シミュレーション(Resimulation): 疎に観測されたスイープが永続的な空間キャッシュを形成し、シーンごとの最適化なしに汎化可能な再シミュレーションを錨付けする
室谷室谷代表取締役
これ、実務目線だとかなり効く話で。たとえば「この記録シーンで、 ego(自車)が左折したらセンサーは何を見るか」を生成できる。

公式ページにはInteractive Action-Conditioned Generationとして、記録シーンとegoアクションを選ぶと、要求したアクションに応じたLiDARロールアウトを生成するデモが用意されています。
テキトー教師テキトー教師DotAI 認定講師
条件としてはHDマップとアクターのレイアウト、そしてテキストも入力インターフェースに含まれています。統合された双方向の教師モデルが、LiDARプレフィックス・HDマップ・空間キャッシュ・テキストを1つのインターフェースで扱う設計なんですよ。
室谷室谷代表取締役
予測の評価設定も公式に書かれていて、10Hzで観測30フレームから将来30フレームを予測する、という条件です。再シミュレーションは新規視点の内挿と外挿を、シーンごとの最適化なしで行うとされています。

LidarVerseの使い方・始め方——論文・コード・チェックポイントへの導線

LidarVerseの導線と確認順序
  1. 01
    公式プロジェクトページへ
    Paper・Code・Checkpointsのリンクが並ぶ
  2. 02
    論文を読む
    研究の一次情報にそのまま辿れる
  3. 03
    コードを取得
    Xの投稿でも「Read the paper and get the code」と案内
  4. 04
    チェックポイントを確認
    コードとチェックポイントまで公開され、追試や応用に活用できる
テキトー教師テキトー教師DotAI 認定講師
使いたい人向けの導線も整理されています。公式プロジェクトページにはPaper、Code、Checkpointsのリンクが並んでいて、研究の一次情報にそのまま辿れるようになっています。
室谷室谷代表取締役
Xの投稿でも「Read the paper and get the code」と案内されていました。論文を読むだけでなく、コードとチェックポイントまで公開されているのは、追試や応用を考える開発者にはありがたいですよね。
テキトー教師テキトー教師DotAI 認定講師
ただし、現時点で公開されている情報は研究プロジェクトのページが中心です。商用ライセンスや料金、サポート体制については公式ページ抜粋に記載がなく、現時点では明らかにされていません。

導入を検討する場合は、まず論文とコードを確認するのが順序として自然だと思います。
室谷室谷代表取締役
あと、既存のNVIDIAツールとの関係も気になるところですが、今回の公式ページで明示されているのは、教師モデルがCosmos-Transfer2.5-2Bから初期化されてLiDARの潜在表現に適応された、という点です。Omniverse製品群との具体的な統合仕様までは、今回の資料では明らかにされていません。

対応センサーとリアルタイム性能——32/64/128ビーム、H100で10FPS

テキトー教師テキトー教師DotAI 認定講師
スペックで押さえるべきは2つです。1つはユニバーサルLiDARトークナイザが32・64・128ビームのセンサーを共通の潜在空間で扱うこと。

もう1つは、蒸留済みの因果チェックポイントが単一のH100上で10FPSで動作することです。
室谷室谷代表取締役
ビーム数はレーザーの走査線数で、多いほど高精細になる指標ですよね。それが共通の潜在空間で扱えるというのは、センサーを載せ替えた検証のコストに直結します。
テキトー教師テキトー教師DotAI 認定講師
公式ページには「1つのHDマップから3つのLiDAR構成」というデモもあり、同じWaymoのHDマップから、nuScenesの32ビーム、Waymoの64ビーム、NVIDIA PAIの128ビームという異なる走査パターンを生成できると示されています。
室谷室谷代表取締役
アーキテクチャも整理されていて、4段構成なんですよね。整理するとこうです。
  • ユニバーサルLiDARトークナイザ: 完全にアテンションベースのレンジイメージトークナイザで、走査パターン間で共通の潜在空間に疎な幾何と元の時間解像度を保つ
  • 統合双方向教師: Cosmos-Transfer2.5-2Bから初期化され、LiDAR潜在表現に適応したフローマッチングDiT
  • 4ステップ因果学生モデル: 教師強制でブロック自己回帰の学生モデルを初期化し、自己強制の分布マッチングで4フレームブロックごとに4ステップ生成を実現
  • 時間・空間メモリ: 直近のダイナミクスを保持するローリング9フレームのK/Vキャッシュと、その時間窓を超えて確定した幾何を保つ世界整合の永続空間キャッシュ
室谷室谷代表取締役
10FPSというのは、シミュレーションを回す側からすると現実的な速度域です。リアルタイム性が確保されているからこそ、インタラクティブなアクション条件付き生成のデモが成立しているわけですよね。

なぜ注目されるのか——実走行では撮れない視点をどう補うか

テキトー教師テキトー教師DotAI 認定講師
自動運転の開発には大量のセンサーデータが必要ですが、実走行データは「撮影済みの物体・事象・視点」に固定されていて柔軟性が低い。これは開発現場の慢性的な不便なんですよ。
室谷室谷代表取締役
実走行では撮れない視点、車種変更、別センサーでの検証は、テスト設計上かなり重要な需要です。手作業でシーンを再構築すると時間とコストがかかる。

MYUUUでもシミュレーション環境の整備は常に悩みどころで、データが固定されていることの辛さは身に染みます・・・。
テキトー教師テキトー教師DotAI 認定講師
公式のX投稿も「See a recorded driving scene from a viewpoint the vehicle never captured」と、まさにこの点を前面に出しています。記録済みの走行シーンを、車両が撮影していない視点から見る、というわけです。
室谷室谷代表取締役
しかも実時間・複数センサー対応・シーンごとの最適化不要という性質が、その不便に直接応える。再シミュレーションが「per-scene optimization」なしで汎化すると明記されているのは大きいですよね。
テキトー教師テキトー教師DotAI 認定講師
講座で受講生さんに説明するときも、シミュレーションの価値は「現実に起きていないこと」を安全に試せることだと伝えています。LidarVerseはその入り口を、LiDARの生データレベルまで広げたと言えます。

自動運転・物理AI開発での活用可能性と現時点の制約

室谷室谷代表取締役
活用の方向性としては、撮影済みシーンからの新視点生成、HDマップからのシーン生成、そして観測済みのスイープを錨にした再シミュレーション。この3つを使い分けられるのが実務的です。
テキトー教師テキトー教師DotAI 認定講師
物理AIの文脈でも、実世界のセンサー入力を条件に次の観測を予測する能力は、知覚モデルの検証やロバスト性評価に効いてきます。天候条件やノイズの再現範囲については、今回の公式ページ抜粋に定量的な記載がないため、現時点では明らかにされていません。
室谷室谷代表取締役
定量結果も公開されていて、トークナイザの比較ではFUD、ICP Avg.、L1、CDといった指標で既存手法との比較が示されています。数値は公式ページのグラフで確認できますが、ここでは個別の優劣を断定せず、公式の表を見るのが正確です。
テキトー教師テキトー教師DotAI 認定講師
制約として押さえておきたいのは、これは研究プロジェクトだという点です。製品としての提供時期や料金、サポート範囲は今回の資料に記載がありません。

実運用に組み込む際は、論文とコードを前提に検証を重ねる必要があります。
室谷室谷代表取締役
あと、比較対象としてCosmos CVやWan2.1、LiDM、Cosmos LiDARGen、Sensor2Sensor、LaGenといった手法名が資料内で挙げられていますが、各手法の詳細や他社戦略までは踏み込まれていません。ここは続報を待ちたいところです。

よくある質問

室谷室谷代表取締役
ここまでの話を踏まえて、よく聞かれそうな点を整理しておきますね。
テキトー教師テキトー教師DotAI 認定講師
まず「LidarVerseとは何か」ですが、NVIDIA Researchが公開した、リアルタイムで動く統合型のLiDARワールドモデルです。生成・予測・再シミュレーションを単一の因果チェックポイントで切り替えて実行します。
室谷室谷代表取締役
「何ができるのか」は、異なるLiDARセンサーのスキャンのシミュレーション、新視点からのシーン再現、HDマップからのシーン生成、センサーが次に見るものの予測です。
テキトー教師テキトー教師DotAI 認定講師
「対応センサーは」という問いには、32・64・128ビームに対応し、共通の潜在空間で扱うと答えられます。「性能は」については、蒸留済みの因果チェックポイントが単一のH100上で10FPSで動作すると公式に記載されています。
室谷室谷代表取締役
「コードや論文は入手できるのか」については、公式プロジェクトページにPaper、Code、Checkpointsのリンクが用意されています。Xの投稿でも論文とコードへの導線が案内されていました。
テキトー教師テキトー教師DotAI 認定講師
「料金や商用利用は」という点は、今回の資料には記載がなく、現時点では明らかにされていません。研究プロジェクトとしての公開が中心だと理解しておくのが正確です。
室谷室谷代表取締役
Omniverseとの関係についても、教師モデルがCosmos-Transfer2.5-2Bから初期化されたという記載はありますが、Omniverse製品群との統合仕様は今回の資料では明らかにされていません。続報が出たら追いかけたいテーマですね。

Related

関連記事

New Articles

新着記事

ニュース

ChatGPT for Healthcareとは?OpenAIが医療向けcomputer-useエージェントと20以上のプラグインを発表

2026年11月17日
室谷テキトー教師
ガイド

bolt.newとは何か、料金プラン・使い方・商用利用まで解説

2026年11月17日
室谷テキトー教師
ニュース

Replit×Microsoft Fabric連携とは?統制データでアプリを直接デプロイ

2026年11月17日
室谷テキトー教師
ニュース

Tencentの「Hy4 flash」とは?1Mコンテキスト・画像入力対応の低価格モデルがOpenRouterに登場

2026年11月17日
室谷テキトー教師
ニュース

OpenAIの「ChatGPT for Academic Researchers」とは?最大20万人に無償提供

2026年11月17日
室谷テキトー教師
ガイド

Plaud Desktopの使い方と料金|会議ボットなしでPC会議を録音・文字起こしする手順

2026年11月17日
室谷テキトー教師
ニュース

Artificial Analysisの「Time to First Audio」とは?TTSの新指標と最速モデル比較

2026年11月17日
室谷テキトー教師
ニュース

Gemini 4 Carbonとは?Google DeepMindの最新フロンティアモデルを解説

2026年11月17日
室谷テキトー教師
ニュース

OpenAIの「embedded assessments」とは?外部4社が社内で安全性を検証

2026年11月17日
室谷テキトー教師
ニュース

Gemini 4 Hydrogenとは?Googleが発表した高速実行モデル

2026年11月17日
室谷テキトー教師

Join

AIプレナーになる。

入会は審査制です。いまの事業と、AIで何を動かしたいのかを聞かせてください。

参加を申請する