室谷代表取締役Nemotron 3.5 Bolt 24GB（ネモトロン スリー・ファイブ・ボルト・にじゅうよんジービー）は、NVIDIAが2026年10月15日に発表したオープンモデルで、74B-A9BのMoEモデルを24GBのメモリに収め、NVIDIA RTX/DGX Spark上でローカルにエージェント作業を実行できるのが特徴です。
テキトー教師DotAI 認定講師これは単に「新しいモデルが出た」という話じゃないんですよ。高性能なエージェント的AIは、これまで大規模サーバーやクラウドでの実行が中心でした。
それを手元のマシンに持ってくる、というのが今回のポイントです。
それを手元のマシンに持ってくる、というのが今回のポイントです。
室谷代表取締役しかもNVIDIAは同日、120Bパラメータの「Nemotron 3.5 Super VL」も発表していて、ファミリー全体でデータセンターからデスクトップ、エッジまでをカバーする構成にしてきているんですよね。
Nemotron 3.5 Bolt 24GBとは？何が発表されたのか
Nemotron 3.5 発表の3モデル
Nemotron 3.5 Super VL
オープンな120Bパラメータモデル。発表当日から利用可能。
Nemotron 3.5 Bolt 74B-A9B 24GB
エッジ向け。発表当日から利用可能。
Nemotron 3.5 Bolt E4B 4GB
エッジ向けの小型版。10月23日提供予定。
室谷代表取締役NVIDIAの公式ブログによると、今回の発表は3本立てです。1つ目がオープンな120Bパラメータモデルの「Nemotron 3.5 Super VL」。
2つ目がエッジ向けの「Nemotron 3.5 Bolt 74B-A9B 24GB」。3つ目が同じくエッジ向けの小型版「Nemotron 3.5 Bolt E4B 4GB」です。
2つ目がエッジ向けの「Nemotron 3.5 Bolt 74B-A9B 24GB」。3つ目が同じくエッジ向けの小型版「Nemotron 3.5 Bolt E4B 4GB」です。
テキトー教師DotAI 認定講師提供時期も公式に書かれていて、Super VLとBolt 74B-A9Bは発表当日から利用可能、Bolt E4Bは10月23日提供予定とされています。
室谷代表取締役この3モデルで、大企業のサーバーからエッジデバイス、ローカルハードウェアまで、エージェント展開の全レンジをカバーするというのがNVIDIAの説明ですね。
テキトー教師DotAI 認定講師既存のNemotronファミリーの位置づけも整理されてます。8月にリリースされた「Lightning」は高スループットのワークロード向け、「Ultra」は最も難しい推論タスク向け、そして今回の「Bolt」がエッジに知能をもたらす役割です。
室谷代表取締役つまりBoltは「手元で動かす」ことに振り切ったポジションなんですよね。MYUUUでもローカルでエージェントを回したいという相談は増えているので、この発表はかなり気になっています。
Nemotron 3.5 Bolt 24GBでできること――ローカルエージェントの実力
Nemotron 3.5 Bolt の2モデル比較
Bolt 74B-A9B 24GB
- プロジェクトを人気のローカルエージェントハーネスに委任できる
- 例: Webのリサーチ、執筆、コードのデバッグ
- ワークロードをクラウドに送らずに済む
- 他のユーザーアプリケーションと並行して動ける
- メモリ効率の良い言語モデル
- 作業を任せる役割
Bolt E4B 4GB
- GeForce RTX、Jetson、RTX/DGX Spark上の物理エージェント・会話エージェント向け
- 自然な会話とマルチターンのエージェント能力を組み合わせ
- 高速なローカル音声アシスタント
- インタラクティブなキャラクター
- 組み込みインターフェース
- 会話する役割
テキトー教師DotAI 認定講師公式ブログでは、Bolt 74B-A9B 24GBで何ができるかが具体的に書かれています。ユーザーはプロジェクトを「人気のローカルエージェントハーネス」に委任できるとされていて、例としてWebのリサーチ、執筆、コードのデバッグが挙げられています。
室谷代表取締役ポイントは「それらのワークロードをクラウドに送らずに済む」という点です。データを外に出したくない現場にとっては、ここが一番大きい。
テキトー教師DotAI 認定講師もう一つの特徴が「他のアプリと並行して動くこと」です。技術ブログでは、説明的に「メモリ効率の良い言語モデルが、他のユーザーアプリケーションと一緒に動けること」が必要だと書かれています。
室谷代表取締役これ、実際に使うと地味に効くところなんですよね。ローカルでモデルを常駐させつつ、普段の作業も同じマシンでやる。
その前提で設計されているわけです。
その前提で設計されているわけです。
テキトー教師DotAI 認定講師小型版のBolt E4B 4GBのほうは役割が違います。GeForce RTX、Jetson、RTX/DGX Spark上の物理エージェント・会話エージェント向けで、自然な会話とマルチターンのエージェント能力を組み合わせ、高速なローカル音声アシスタント、インタラクティブなキャラクター、組み込みインターフェースを動かすと説明されています。
室谷代表取締役同じBoltでも、74B-A9Bは「作業を任せる」、E4Bは「会話する」という住み分けですね。
Nemotron 3.5 Bolt 24GBの使い方・始め方と対応ツール
まとめ
Nemotron 3.5 Bolt 24GB 入手と対応ツールの要点
- Bolt 74B-A9B 24GBはHugging Faceで公開中
- 対応ツール: llama.cpp、Ollama、LM Studio、Unsloth、vLLM
- OllamaやLM Studioで動かせるため導入ハードルは低い
- チェックポイント構成: メインモデル / BF16(量子化前) / 24GB GGUF / LiLiCorr(投機的デコーディング用ドラフター) / LiLiCorr GGUF
- 量子化済みチェックポイントはRTX Spark上のllama.cpp、DGX Spark上のvLLMでの利用に最適化
- BF16チェックポイントは自前でカスタマイズしたい人向け
- Super VLはNVIDIA NeMoやPythonベースのパイプライン、オープンデータセットでカスタマイズをサポート
- BoltはSuper VLから圧縮されたモデル
テキトー教師DotAI 認定講師入手方法と対応ツールは公式ブログに明記されています。Bolt 74B-A9B 24GBはHugging Faceで公開中で、llama.cpp、Ollama、LM Studio、Unsloth、vLLMをサポートします。
室谷代表取締役ここは実務的にかなり大事で、普段使っているツールがそのまま並んでいるんですよ。OllamaやLM Studioで動かせるなら、導入のハードルはかなり下がります。
テキトー教師DotAI 認定講師技術ブログ側ではチェックポイントの構成も公開されています。整理するとこうです。
- Nemotron 3.5 Bolt 74B-A9B 24GB ― ローカルAI向けのメインモデル
- Nemotron 3.5 Bolt 74B-A9B BF16 ― 量子化前のBF16チェックポイント
- Nemotron 3.5 Bolt 74B-A9B 24GB GGUF ― メインモデルのGGUFチェックポイント
- Nemotron 3.5 Bolt 74B-A9B 24GB LiLiCorr ― 投機的デコーディング用ドラフター
- Nemotron 3.5 Bolt 74B-A9B 24GB LiLiCorr GGUF ― ドラフターのGGUFチェックポイント
室谷代表取締役量子化済みチェックポイントはRTX Spark上のllama.cpp、DGX Spark上のvLLMでの利用に最適化されていると書かれています。あと、量子化前のBF16チェックポイントも出ているのが面白いところで、これは自前でカスタマイズしたい人向けですね。
テキトー教師DotAI 認定講師カスタマイズの文脈では、Super VLのほうがNVIDIA NeMoやPythonベースのパイプライン、オープンデータセットを通じてカスタマイズをサポートすると説明されています。BoltはSuper VLから圧縮されたモデルなので、この流れは押さえておくと理解しやすいです。
室谷代表取締役ちなみに、こうしたオープンモデルをローカルで扱う流れは、ChatGPTはいつから？リリースの歴史・モデル進化・料金プラン・最新動向を完全解説【2026年最新】で整理しているクラウド側の進化と対比で見ると、より面白く読めると思います。
料金・提供範囲――日本で使えるのか、いつから入手できるのか
テキトー教師DotAI 認定講師提供時期については、公式ブログに「Super VLとBolt 74B-A9Bは現在利用可能、Bolt E4Bは10月23日提供」と書かれています。発表日が2026年10月15日なので、74B-A9Bはその日から入手できる状態です。
室谷代表取締役入手先はHugging Faceです。Super VLのほうはHugging Faceに加えてOpen Router、ModelScopeコミュニティ、そしてNVIDIA NIMでも提供されると書かれています。
テキトー教師DotAI 認定講師料金については、今回の発表資料にBolt 74B-A9B 24GBの価格に関する記載はありません。オープンモデルとして公開されているので、モデル自体の利用に課金があるという説明はされていない、というのが資料から読み取れる範囲です。
室谷代表取締役日本で使えるかどうかについても、地域を限定するような記述は資料には見当たりません。Hugging Faceで公開されているオープンウェイトのモデルなので、入手経路としては日本からも同じですね。
ただし、対応ハードウェアの入手性は別の話です。
ただし、対応ハードウェアの入手性は別の話です。
テキトー教師DotAI 認定講師ハードウェア要件は公式ブログに書かれています。Bolt 74B-A9B 24GBは10月16日登場のNVIDIA RTX SparkノートPC向けに作られていて、加えてGeForce RTX PC、DGX Spark、DGX Station、RTX PROワークステーションでも動作します。
室谷代表取締役ここで注意したいのが、資料が述べているのは「24GBのメモリに収まる設計」という点までなんですよね。24GBを下回る環境で動くかどうか、という要件には言及がありません。
現時点では明らかにされていません。
現時点では明らかにされていません。
テキトー教師DotAI 認定講師ライセンスについても、今回の資料には条件の記載がありません。オープンウェイト、オープンデータセット、トレーニングレシピが同梱されると書かれているのはSuper VLの文脈ですが、Boltについてもオープンウェイトのチェックポイントが公開されています。
個別のライセンス条項は配布ページで確認する必要があります。
個別のライセンス条項は配布ページで確認する必要があります。
24GBに74Bを収める仕組み――MoEと2ビット量子化のからくり
室谷代表取締役ここが今回の技術的な核心です。技術ブログを読むと、かなり攻めたことをやっているのが分かります。
テキトー教師DotAI 認定講師まず前提として、Bolt 74B-A9B 24GBはMixture-of-Experts（MoE）のハイブリッドMamba-Transformerモデルです。74Bが総パラメータ数、A9Bが実際に稼働するアクティブパラメータ数ですね。
室谷代表取締役で、このモデルはゼロから学習したわけではなくて、Nemotron 3.5 Super VLから圧縮されているんですよ。親モデルは120B-A12B、つまり総120B・アクティブ12B。
これを74B-A9Bに落とし込んでいます。
これを74B-A9Bに落とし込んでいます。
テキトー教師DotAI 認定講師圧縮に使われたのがNVIDIAが開発した「Star Elastic」というフレームワークです。予算条件付きルーターが、層ごとにルーティングするエキスパート数とMoEの中間幅を選ぶ仕組みで、ターゲットのエキスパートtop-Kは親モデルの22から9に固定されています。
室谷代表取締役アーキテクチャ探索の目標が「24GB未満の展開フットプリント」で、しかも下流の量子化まで見込んでサイジングしているというのがポイントですね。
テキトー教師DotAI 認定講師そのうえで量子化です。FC1とFC2層、ルーティング側も共有側も含めて、モデル重みの大部分をIQ2_XXSで1要素あたり2.0625ビットに量子化。
Mamba線形層はNVFP4、lm_head、トークン埋め込み、アテンション、Latent MoEの重みはQ8_0形式に量子化されています。
Mamba線形層はNVFP4、lm_head、トークン埋め込み、アテンション、Latent MoEの重みはQ8_0形式に量子化されています。
室谷代表取締役重みだけを量子化しているのも理由がちゃんとあって、RTX/DGX Spark上での実行はほとんど重みの帯域に支配されるからだと説明されています。
テキトー教師DotAI 認定講師さらに量子化で落ちた精度を戻すために、量子化認識蒸留（QAD）を使っています。技術ブログでは、同じメモリサイズなら大きいネットワークを1〜2ビットに量子化したほうが、小さいネットワークを高いビットで量子化するよりパレート最適だという結論が示されていて、NVIDIAも同じ結論に至ったと書かれています。
室谷代表取締役つまり「小さいモデルを4ビットで動かす」より「大きいモデルを2ビットに潰す」ほうが良い、という設計思想なんですよね。これは結構、モデル選びの常識をひっくり返す話です。
テキトー教師DotAI 認定講師推論の高速化も入っています。LiLiCorrという並列ドラフターを用意していて、ドラフト全体のトークン候補を1回の軽量なネットワークパスでまとめてスコアリングする方式です。
ドラフターは共有のターゲット埋め込みとLMヘッドを除いて1.13Bパラメータ。vLLMで7トークンのドラフト、並行度64のとき、NVFP4ドラフターは貪欲デコーディングで平均アクセプタンス長4.68、確率的サンプリングで4.25を達成したと報告されています。
ドラフターは共有のターゲット埋め込みとLMヘッドを除いて1.13Bパラメータ。vLLMで7トークンのドラフト、並行度64のとき、NVFP4ドラフターは貪欲デコーディングで平均アクセプタンス長4.68、確率的サンプリングで4.25を達成したと報告されています。
室谷代表取締役設計目標として「24GBのメモリに収まり、かつデコーディング速度が少なくとも80TPS」という数字が掲げられているのも、ローカルで実用的に使うことを前提にしている証拠ですね。
ベンチマークと既存モデル比較――QwenやGemmaとどう違うのか
テキトー教師DotAI 認定講師比較の話に入ります。技術ブログでは、同程度のメモリフットプリントと速度を持つ主要モデルとしてQwen3.6 35B-A3BとGemma 4 26B-A4Bが挙げられ、一般的なエージェント能力、Webブラウジング、ターミナル利用の多くのベンチマークでBoltがより高い精度を達成したとされています。
室谷代表取締役公開リーダーボードでの順位も書かれています。同程度のメモリフットプリントのモデルとの比較で、PinchBenchで1位、WebArenaで2位、BrowseCompで2位です。
テキトー教師DotAI 認定講師速度の実測値も出ています。整理するとこうです。
| ベンチマーク | 指標 | Nemotron 3.5 Bolt 74B-A9B 24GB（IQ2_XXS + LiLiCorr） | Qwen3.6 35B-A3B（UD-Q4_K_M + MTP） | Gemma 4 26B-A4B（UD-Q4_K_M + MTP） | Qwen3.8 27B（UD-Q4_K_M + DFlash） |
|---|---|---|---|---|---|
| AIPerf SPEED-Bench-Coding | TPS | 83.99 | 96.63 | 100.56 | 28.26 |
| AA AgentPerf Local | リプレイ時間（秒） | 600.80 | 453.97 | 480.68 | 1043.28 |
室谷代表取締役ここは誤解しないほうがいいんですが、BoltはTPSだけを見るとQwen3.6 35B-A3BやGemma 4 26B-A4Bより低いんですよ。でもAA AgentPerf Localのリプレイ時間ではQwen3.8 27Bよりかなり速い。
つまり指標によって順位が変わる。
つまり指標によって順位が変わる。
テキトー教師DotAI 認定講師技術ブログも「同程度のメモリフットプリントの他のモデルと比べて、知能と速度のバランスが良い。ほとんどの仕事をこなせる程度に賢く、最も賢いモデルよりずっと速い」という表現をしていて、単純な最速を主張しているわけではありません。
室谷代表取締役測定条件も明記されていて、すべてllama.cpp、Windows 11 ARM x64、同一のRTX Sparkハードウェア（Surface Laptop Ultra、128GB）で行われたとされています。この条件を踏まえて読む必要がありますね。
テキトー教師DotAI 認定講師比較対象のモデルが「24GBのメモリに4ビット量子化で収まる能力」を基準に選ばれている点も重要です。同じ土俵で比べている、ということですね。
室谷代表取締役同シリーズ内での選び方も整理しておくと、Super VLは120Bの大規模向け、Bolt 74B-A9Bはローカルエージェント向け、Bolt E4BはGeForce RTXやJetson上の会話・物理エージェント向けです。手元で作業を任せたいなら74B-A9B、音声アシスタントや組み込みならE4B、という住み分けになります。
テキトー教師DotAI 認定講師講座でも受講生さんから「どのモデルを選べばいいのか」という質問がよく出るんですが、こういうふうに用途とハードウェアで切り分けると判断しやすいですよね。
室谷代表取締役あと、ローカルでエージェントを動かすときに気になるデータの扱いは、ChatGPT Healthとは？使い方・連携アプリ・日本での利用・プライバシーを完全解説【2026年最新】で扱っているクラウド連携型の話と読み比べると、設計思想の違いが見えて面白いです。
よくある質問
テキトー教師DotAI 認定講師ここからは、よく聞かれる点を整理していきます。まず正式なスペックについて。
総パラメータ74B、アクティブ9BのMoEハイブリッドMamba-Transformerで、重みはIQ2_XXSで1要素あたり2.0625ビットに量子化されています。
総パラメータ74B、アクティブ9BのMoEハイブリッドMamba-Transformerで、重みはIQ2_XXSで1要素あたり2.0625ビットに量子化されています。
室谷代表取締役コンテキスト長については、今回の資料に具体的な数値の記載が見当たりません。現時点では明らかにされていません。
テキトー教師DotAI 認定講師24GBのメモリで実際に動くのか、という点は、公式ブログが「24GBのメモリに収まるよう設計されている」と明記しています。対応ハードウェアはRTX Spark、GeForce RTX PC、DGX Spark、DGX Station、RTX PROワークステーションです。
室谷代表取締役ただし、24GBを下回る環境で動くかどうかは資料に言及がありません。ここは憶測で書かないほうがいいところです。
テキトー教師DotAI 認定講師リリース日と入手方法は、2026年10月15日発表・同日提供開始、Hugging Faceで公開中です。Bolt E4B 4GBは10月23日提供予定とされています。
室谷代表取締役オープンウェイトかどうかについては、技術ブログがメインモデルと投機的ドラフター、そして量子化前のBF16チェックポイントをリリースすると明記しています。ライセンスの個別条件は資料に記載がないので、配布ページでの確認が必要です。
テキトー教師DotAI 認定講師2ビット量子化の品質への影響については、NVIDIAは量子化認識蒸留で精度を回復させ、同サイズのモデルより高精度だと主張しています。トレードオフとしては、TPSの実測値が比較対象の一部モデルより低いという数字が示されています。
室谷代表取締役どのモデルを選ぶべきかは、Super VLが大規模・高スループット、Bolt 74B-A9Bがローカルエージェント、Bolt E4Bが会話・物理エージェントという役割分担で考えるのが素直ですね。
テキトー教師DotAI 認定講師最後に、こうしたローカル実行の流れは、ChatGPT Health一般公開、健康データ連携と注意点のようにクラウド側でデータ連携が進む動きとちょうど対になる話です。どちらに何を任せるか、という設計判断がこれからますます重要になります。
室谷代表取締役手元でエージェントを回す選択肢が現実的になってきた、というのが今回の発表の一番の意味だと思います。
