NVIDIA Dynamo（エヌビディア・ダイナモ）は、NVIDIAが提供するオープンソースの分散推論サービングフレームワークで、データセンター規模のマルチノード環境でモデルを配備するために設計されています。NVIDIAは2026年11月8日、このDynamoを最適化したデプロイレシピを韓国の主要オープンモデル4種向けに公開しました。
室谷代表取締役NVIDIA Dynamoは、NVIDIAが提供するオープンソースの分散推論サービングフレームワークで、データセンター規模のマルチノード環境でモデルを配備するために設計されたものなんですよね。今回のニュースは、そのDynamoに最適化したデプロイレシピを、韓国の主要オープンモデル4種向けにNVIDIAが2026年11月8日に公開した、という話です。
テキトー教師DotAI 認定講師ここは区別が大事です。発表されたのは「レシピ」であって、Dynamoというフレームワーク自体が新しく登場したわけじゃないんですよ。
レシピというのは、モデルを本番環境で動かすための設定や手順をまとめたもの。利用者は試行錯誤せずに済む、という位置づけですね。
レシピというのは、モデルを本番環境で動かすための設定や手順をまとめたもの。利用者は試行錯誤せずに済む、という位置づけですね。
室谷代表取締役なるほど、フレームワークとレシピを分けて考えるわけですね。NVIDIAの公式投稿では、韓国の主要オープンモデルをより速く本番投入する、というメッセージで、対応モデルとしてSK TelecomのA.X K2、LG AI ResearchのK-EXAONE 2.0、UpstageのSolar Open 2、Motif TechnologiesのMotif-3の4つが挙げられています。
テキトー教師DotAI 認定講師そして性能面です。公式ページによると、これらのレシピはNVIDIA B200 GPU向けに最適化されていて、そのまま使うだけで最大2倍の性能を発揮する、とされています。
ここは数字の条件、つまりどのモデルでどのくらい、という内訳までは今回の資料では明らかにされていません。
ここは数字の条件、つまりどのモデルでどのくらい、という内訳までは今回の資料では明らかにされていません。
室谷代表取締役最大2倍、という表現は条件付きの数字なので、そこは冷静に読むべきですね。ただ、レシピが用意されること自体の価値は大きいんですよ。
MYUUUでも推論基盤を触っていると、モデルを複数GPUに分割した瞬間にルーティングと通信の調整でハマるんですよね・・・。
MYUUUでも推論基盤を触っていると、モデルを複数GPUに分割した瞬間にルーティングと通信の調整でハマるんですよね・・・。
NVIDIA Dynamoとは？韓国オープンモデル4種の本番投入を加速する分散推論フレームワーク
まとめ
NVIDIA Dynamoの定義と位置づけ
- Dynamoはオープンソースの分散推論サービングフレームワーク。データセンター規模のマルチノード環境でモデルを配備するために作られている
- モデルが単一GPUの容量を超える場合に複数GPUへ分割配置し、リクエストのルーティングと通信を引き受けて推論性能を最大化する役割を担う
- 大規模分散環境で生成AIや推論モデルを高速化し、低遅延・高スループットの分散推論を本番グレードのマルチノード配備に提供するのが核
- Blackwell上で最大7倍のリクエスト処理向上を実現(SemiAnalysis InferenceXベンチマーク)
- 今回のレシピはB200で最大2倍。フレームワークのポテンシャルとレシピのアウトオブザボックス効果は測定条件が異なる別レイヤーとして読むのが正確
テキトー教師DotAI 認定講師改めて定義を整理します。NVIDIAの公式ページでは、Dynamoはオープンソースで分散推論サービングのフレームワークであり、データセンター規模のマルチノード環境でモデルを配備するために作られている、と説明されています。
単に「速くするツール」な話じゃないんですよ。
単に「速くするツール」な話じゃないんですよ。
室谷代表取締役そうですよね。モデルが単一GPUの容量を超えると、複数のGPUに分割して配置する必要があって、そのときにリクエストのルーティングと通信を慎重に調整しないと性能が維持できない。
Dynamoはそのルーティングと通信を引き受けて、推論性能を最大化する役割を担うわけです。
Dynamoはそのルーティングと通信を引き受けて、推論性能を最大化する役割を担うわけです。
テキトー教師DotAI 認定講師公式ブログでは、Dynamoが大規模な分散環境で生成AIや推論モデルを高速化し、低遅延・高スループットの分散推論を本番グレードのマルチノード配備に提供する、と書かれています。ここがDynamoの核ですね。
室谷代表取締役背景ブリーフによれば、DynamoはBlackwell上で最大7倍のリクエスト処理向上を実現したとされていて、これはSemiAnalysis InferenceXベンチマークの結果として紹介されています。今回のレシピはB200で最大2倍なので、土台となるフレームワークの効果と、レシピによる立ち上げのしやすさは別のレイヤーで見る必要がありますね。
テキトー教師DotAI 認定講師そこは混同しやすいので、講座でも受講生さんによく説明するんですよ。フレームワークのポテンシャルと、特定モデル向けレシピのアウトオブザボックスの効果は、測定条件が違う。
今回はあくまで「レシピを使うとB200で最大2倍」という発表として読むのが正確です。
今回はあくまで「レシピを使うとB200で最大2倍」という発表として読むのが正確です。
NVIDIA Dynamoでできること――マルチGPU・マルチノード推論を最適化する仕組み
NVIDIA Dynamoの主要機能
分離サービング
プレフィルとデコードを独立に最適化されたGPUへ振り分け。大規模MoEモデルでは不可欠とされる
KV対応ルーター
各ワーカーのキュー深度とKVキャッシュ情報を評価し、重み付けした確率的判断でリクエストを振り分け。再計算を削減
エージェント向けヒント
フロントエンドAPIがレイテンシ感度・想定出力長・キャッシュ制御などのメタデータを受け取り、ルーターとKVキャッシュマネージャへ渡す
マルチモーダル対応
分離エンコード／プレフィル／デコードと埋め込みキャッシュ
ModelExpressによる起動高速化
チェックポイント復元とモデル重みストリーミングで大規模MoEモデルのロードを最大7倍高速化
Groveスケジューリング
Kubernetes上のトポロジ考慮スケジューリング
室谷代表取締役ここが一番知りたいところですよね。Dynamoが何をやってくれるのか。
公式の解説を読むと、キーワードは分離サービング、つまりdisaggregated servingなんですよ。
公式の解説を読むと、キーワードは分離サービング、つまりdisaggregated servingなんですよ。
テキトー教師DotAI 認定講師はい。推論は入力プロンプトを処理するプレフィルと、出力を生成するデコードの2フェーズに分かれます。
従来は同じGPUで両方を動かしていて、そこが非効率やリソースのボトルネックになりやすかった。分離サービングはこの2つを独立に最適化されたGPUへ振り分ける仕組みです。
従来は同じGPUで両方を動かしていて、そこが非効率やリソースのボトルネックになりやすかった。分離サービングはこの2つを独立に最適化されたGPUへ振り分ける仕組みです。
室谷代表取締役大規模なMoEモデルだと、この分離が効いてくるわけですね。公式ブログでは、DeepSeek-R1のような大規模な推論・MoEモデルでは分離サービングが不可欠だ、とまで書かれています。
テキトー教師DotAI 認定講師もう一つの柱がルーティングです。DynamoのKV対応ルーター（KV-aware router）は、各ワーカーのキュー深度とKVキャッシュの情報を評価して、それらを重み付けした確率的な判断でリクエストを振り分けます。
KVキャッシュを意識したルーティングで、再計算を減らす方向に働くわけですね。
KVキャッシュを意識したルーティングで、再計算を減らす方向に働くわけですね。
室谷代表取締役あと見逃せないのが、エージェント向けの最適化です。公式ブログでは、DynamoのフロントエンドAPIがエージェントのヒント、たとえばレイテンシ感度や想定出力長、キャッシュ制御といったメタデータを受け取って、ルーターとKVキャッシュマネージャに渡すと説明されています。
テキトー教師DotAI 認定講師マルチターンのエージェントは同じプレフィックスを何度も再利用しますから、追い出されたKVブロックを再計算すると計算資源の無駄になる。そこに手を入れる機能群がDynamo 1.0で入っている、という整理ですね。
室谷代表取締役起動の高速化も地味に効きます。ModelExpressという仕組みで、チェックポイント復元とモデル重みストリーミングによって、大規模MoEモデルのロードを最大7倍高速化できると公式ブログにあります。
レプリカを頻繁に増減させる運用だと、ここはかなり効いてきますよね。
レプリカを頻繁に増減させる運用だと、ここはかなり効いてきますよね。
テキトー教師DotAI 認定講師整理すると、Dynamoの機能は次のように分けられます。
- 分離サービング（プレフィル／デコードを別GPUへ振り分け）
- KV対応ルーターによるキャッシュを意識したリクエスト振り分け
- エージェント向けヒント（レイテンシ感度・想定出力長・キャッシュ制御）
- マルチモーダル向けの分離エンコード／プレフィル／デコードと埋め込みキャッシュ
- ModelExpressによる起動高速化（チェックポイント復元・重みストリーミング）
- GroveによるKubernetes上のトポロジ考慮スケジューリング
室谷代表取締役こうして並べると、単なる推論エンジンではなくて、GPUクラスタを協調推論システムに変えるオーケストレーション層としての性格が強いことが分かりますね。
今回のデプロイレシピが対応する韓国オープンモデル4種（A.X K2・K-EXAONE 2.0・Solar Open 2・Motif-3）
レシピが対応する韓国オープンモデル4種
A.X K2
SK Telecom（通信事業者）のオープンモデル
K-EXAONE 2.0
LG AI Researchのオープンモデル
Solar Open 2
Upstageのオープンモデル
Motif-3
Motif Technologiesのオープンモデル
テキトー教師DotAI 認定講師対応モデルを確認しておきます。SK TelecomのA.X K2、LG AI ResearchのK-EXAONE 2.0、UpstageのSolar Open 2、Motif TechnologiesのMotif-3の4つです。
室谷代表取締役韓国の主要プレイヤーが並んでいますよね。通信事業者のSK Telecom、LG AI Research、Upstage、Motif Technologies。
それぞれがオープンモデルを出しているところに、NVIDIAがレシピを用意したという構図です。
それぞれがオープンモデルを出しているところに、NVIDIAがレシピを用意したという構図です。
テキトー教師DotAI 認定講師公式ページの表現では、これらのレシピが韓国のオープンモデルをより速く本番投入し、広くアクセス可能なAI for Allのサービスへと変えていく助けになる、とされています。
室谷代表取締役ここで注意したいのは、各モデルのパラメータ数や構成といったスペックは、今回の資料には書かれていないということです。なので、モデルの中身については現時点では明らかにされていません、と正直に書くのが筋ですね。
テキトー教師DotAI 認定講師そうですね。レシピが対応するのは、あくまでこの4モデルをB200上で動かすための設定と手順。
モデル自体の性能比較は今回の発表のスコープ外です。
モデル自体の性能比較は今回の発表のスコープ外です。
室谷代表取締役ただ、自社でサービング基盤をやっている立場からすると、この4モデルに限定されずに、同じパターンのレシピが他のモデルにも広がっていく流れとして見ておきたいですね。NVIDIAはオープンウェイトの扱いにも力を入れていて、そのあたりの文脈はNvidia「Open Weights」書簡、署名が1日で倍増 OpenAI加入もAmazon不参加の深層でも解説しています。
NVIDIA Dynamoの使い方・導入方法――Kubernetesや既存推論エンジンとの関係
室谷代表取締役導入の話に行きましょう。Dynamoは既存の推論エンジンを置き換えるのか、それとも上に乗るのか。
ここが実務では一番気になります。
ここが実務では一番気になります。
テキトー教師DotAI 認定講師公式ブログによると、DynamoはSGLang、NVIDIA TensorRT LLM、vLLMといった主要なオープンソース推論エンジンをサポートしています。つまり、エンジンを内包しつつ、それらと組み合わせて使う設計なんですね。
室谷代表取締役NIXLのようなモジュール単位のコンポーネントが、llm-dやTensorRT LLM、SGLang、vLLMに採用されて、GPU間のKVキャッシュ転送を加速している、という記述も公式ブログにあります。部品単位でエコシステムに溶け込んでいるわけです。
テキトー教師DotAI 認定講師実行環境はKubernetesが中心です。Alibaba Cloud、AWS、Google Cloud、Microsoft Azure、OCIのマネージドKubernetes環境にDynamoが統合されている、と公式ブログにあります。
室谷代表取締役具体的には、AWSはAmazon EKSとの統合、Google CloudはAI Hypercomputer上でLLM推論を最適化するDynamoレシピを提供、Microsoft AzureはAzure Kubernetes Service上でND GB200-v6 GPUを使ったマルチノード推論、OCIはOCI SuperclustersとDynamoでマルチノード推論を可能にしている、と。
テキトー教師DotAI 認定講師Kubernetes上での運用を簡単にするのがGroveです。これはDynamo内で利用できるAPIで、推論システム全体を1つの高レベルな仕様として記述できる。
たとえば「プレフィルに3GPUノード、デコードに6GPUノード、同一モデルレプリカのノードは同じ高速インターコネクトに配置」といった要件を宣言すると、Groveが依存関係や起動順序、配置を自動で処理します。
たとえば「プレフィルに3GPUノード、デコードに6GPUノード、同一モデルレプリカのノードは同じ高速インターコネクトに配置」といった要件を宣言すると、Groveが依存関係や起動順序、配置を自動で処理します。
室谷代表取締役手でYAMLをこねくり回す世界から、意図を宣言する世界に寄せてくるわけですね。Dynamo 1.0ではGroveがGB300 NVL72のようなラックスケールシステムのNVLinkファブリックのセットアップ自動化も加わったと公式ブログにあります。
テキトー教師DotAI 認定講師さらにDGDR、Dynamo Graph Deployment Requestという仕組みがあります。モデル、対象ハードウェア、トラフィックの目標をYAMLで指定すると、AIConfiguratorがシミュレーションベースの推奨を出し、プランナーがクラスタ上でより深くプロファイリングして、デプロイ可能なDGDを出す、という流れです。
室谷代表取締役ここまで来ると、専門家が何日もかけて調整していた部分が、かなり自動化されるイメージですね。導入のハードルは下がっていると見ていいと思います。
NVIDIA Dynamoは日本で使える？料金と提供範囲
室谷代表取締役日本で使えるのか、いくらなのか。ここは読者の皆さんが必ず気にするところですよね。
テキトー教師DotAI 認定講師まず料金ですが、Dynamoはオープンソースのフレームワークとして説明されています。ただ、具体的なライセンス名や課金体系については今回の資料に記載がなく、現時点では明らかにされていません。
室谷代表取締役日本での提供可否についても、今回の資料は韓国のオープンモデル向けレシピの話が中心で、地域限定の記述は見当たりません。オープンソースである以上、動かすためのGPU環境は別途必要で、そこはクラウドのマネージドKubernetes統合が効いてくる、という整理ですね。
テキトー教師DotAI 認定講師ですので「日本では使えない」とも「日本でもすぐ使える」とも、この資料だけでは断定できないんですよ。そこは正確に伝えるべきところです。
室谷代表取締役一方で、B200やGB200、GB300 NVL72といったハードウェアが前提として出てくるので、自社で物理GPUを持つのか、クラウドのマネージドKubernetes上で乗せるのか、という選択が現実的な論点になります。
NVIDIA Dynamoを自社のサービング基盤に導入すべきか――性能・コスト効果と判断ポイント
室谷代表取締役最後に実務判断の話をしましょう。どういうときにDynamoを検討すべきか。
テキトー教師DotAI 認定講師公式ブログで紹介されている導入例が参考になります。BasetenはDynamoを使って長文脈のコード生成の推論サービングを2倍高速化し、スループットを1.6倍に高めた、しかも追加のハードウェアコストなしで、とあります。
室谷代表取締役追加ハードなしで性能が上がるというのは、コスト構造で見るとかなり大きいですよね。製造原価を下げるのと同じ発想です。
テキトー教師DotAI 認定講師導入組織も公式ブログに列挙されています。AstraZeneca、Baseten、ByteDance、CoreWeave、Crusoe、DigitalOcean、Gcore、GMI Cloud、Nebius、Meituan、Pinterest、Prime Intellect、Rednote、SoftBank Corp.、Tencent Cloud、Together AI、Vultrなど、多数の組織が本番でDynamoを導入しているとされています。
室谷代表取締役これだけの名前が並ぶと、実験段階ではなく本番運用の実績があると見ていい。導入判断の材料としては心強いですね。
テキトー教師DotAI 認定講師判断ポイントを整理すると、こうなります。
- 単一GPUに収まらない大規模モデルをマルチノードで配信したい
- 長い入力列や多数の同時ユーザーで、プレフィルとデコードの分離が効くワークロードがある
- マルチターンのエージェントでKVキャッシュの再計算コストが気になっている
- Kubernetesベースの運用で、トポロジを意識した配置を自動化したい
- レプリカの増減が激しく、モデルの起動時間がボトルネックになっている
室谷代表取締役逆に、単一GPUに収まる小規模なモデルを少数のレプリカで回しているだけなら、Dynamoの旨味は相対的に小さくなると思います。分離サービングやマルチノードの調整が効いてくるのは、規模が大きくなってからですからね。
テキトー教師DotAI 認定講師そこは受講生さんにもよく言うんですよ。道具は課題に対して選ぶもので、流行っているから入れるものではない、と。
今回の韓国モデル向けレシピは、まさにその課題がはっきりしているケースだと思います。
今回の韓国モデル向けレシピは、まさにその課題がはっきりしているケースだと思います。
室谷代表取締役NVIDIAはレシピという形で「設定の試行錯誤」を肩代わりしてきた。これは推論基盤の運用コストを下げる方向の動きですよね。
韓国発のオープンモデルが、こうしてNVIDIAの最適化とセットで本番投入されていく流れは、日本のモデルやサービング基盤にとっても他人事じゃないなと感じます。
韓国発のオープンモデルが、こうしてNVIDIAの最適化とセットで本番投入されていく流れは、日本のモデルやサービング基盤にとっても他人事じゃないなと感じます。
よくある質問
Q. NVIDIA Dynamoは何をするものですか？
A. NVIDIAが提供するオープンソースの分散推論サービングフレームワークで、データセンター規模のマルチノード環境でモデルを配備するために設計されています。リクエストのルーティングと通信を処理し、推論性能を最大化します。
Q. 今回発表されたのはDynamo本体ですか？
A. いいえ。NVIDIAが2026年11月8日に公開したのは、Dynamoに最適化したデプロイレシピです。Dynamo自体は以前から提供されているオープンソースのフレームワークです。
Q. どのモデルに対応していますか？
A. 今回のレシピは、SK TelecomのA.X K2、LG AI ResearchのK-EXAONE 2.0、UpstageのSolar Open 2、Motif TechnologiesのMotif-3の4モデルに対応しています。
Q. 性能はどのくらい上がりますか？
A. 公式ページによると、NVIDIA B200 GPU向けに最適化され、そのまま使うだけで最大2倍の性能を発揮するとされています。モデルごとの内訳は現時点では明らかにされていません。
Q. 既存の推論エンジンとの関係は？
A. DynamoはSGLang、NVIDIA TensorRT LLM、vLLMといった主要なオープンソース推論エンジンをサポートしています。エンジンを置き換えるのではなく、それらと組み合わせて使う設計です。
Q. 実行環境は何が必要ですか？
A. Kubernetesが中心で、Alibaba Cloud、AWS、Google Cloud、Microsoft Azure、OCIのマネージドKubernetes環境に統合されています。Groveによるトポロジ考慮のスケジューリングも提供されています。
Q. 料金はかかりますか？
A. Dynamoはオープンソースのフレームワークとして説明されています。具体的なライセンス名や課金体系は今回の資料に記載がなく、現時点では明らかにされていません。
Q. 日本で使えますか？
A. 今回の資料は韓国のオープンモデル向けレシピが中心で、地域限定の記述は見当たりません。日本での提供可否について現時点では明らかにされていません。
