室谷代表取締役Nemotron 3.5 Bolt E4B 4GB（ネモトロン スリー・ファイブ・ボルト・イー・フォー・ビー・フォー・ギー・ビー）は、NVIDIAが2026年10月23日に公開したオープンな小型言語モデルで、約4GBのメモリでローカル対話エージェントを動かせるのが売りなんですよね。公式スレッドでは「ローカルアシスタント、インタラクティブなキャラクター、そして会話をしながらツールで作業をこなすロボットのために作られた」と説明されています。
テキトー教師DotAI 認定講師しかもNVIDIAは同日、大型のSuper VLとBolt 74B-A9B 24GBも展開していて、サーバーから端末まで一気にラインアップを揃えた形です。単に小さいモデルが出たという話じゃないんですよ。
まずは発表の中身を整理しましょう。
まずは発表の中身を整理しましょう。
Nemotron 3.5 Bolt E4B 4GBとは？何が発表されたのか
まとめ
Nemotron 3.5 Bolt E4B 4GB 発表内容の要点
- NVIDIAのオープン小型言語モデルで、会話エージェント向けに「スピードと賢さあたりのサイズ（intelligence per GB）」を最適化
- 土台はGoogleのGemma 4 E4Bで、NVIDIAがポストトレーニングを重ねている
- 総パラメータ8B、実効4B（「E4B」は実効4Bを指す）
- アーキテクチャはGemma-4-E4B、配布精度はQ4_K_M
- コンテキスト長は入力・出力とも最大64Kトークン
- 対応言語は35言語（土台モデルは140言語以上で事前学習）
- ライセンスはOpenMDW-1.1
- 公開日は2026年10月23日（Hugging FaceおよびBuild.NVIDIA.com）
- 低メモリ・低TTFT動作のために設計され、アプリや隣接するモデルパイプラインのための余裕を残す設計思想
- 前モデルNemotron 3 Nano 4Bは各種ベンチマークで低調で、そこからの立て直しという位置づけ
室谷代表取締役公式ページによると、これはNVIDIAのオープン小型言語モデルで、会話エージェント向けに「スピードと賢さあたりのサイズ（intelligence per GB）」を最適化したものなんです。土台はGoogleのGemma 4 E4Bで、そこにNVIDIAがポストトレーニングを重ねています。
テキトー教師DotAI 認定講師スペックを整理するとこうです。
- 総パラメータ8B、実効4B（「E4B」は実効4Bを指す）
- アーキテクチャはGemma-4-E4B、配布精度はQ4_K_M
- コンテキスト長は入力・出力とも最大64Kトークン
- 対応言語は35言語（土台モデルは140言語以上で事前学習）
- ライセンスはOpenMDW-1.1
- 公開日は2026年10月23日（Hugging FaceおよびBuild.NVIDIA.com）
室谷代表取締役モデルカードには「低メモリ・低TTFT（最初のトークンが出るまでの時間）動作のために設計され、アプリや隣接するモデルパイプラインのための余裕を残す」とあります。つまり4GBに収めること自体が目的ではなくて、同じ端末で他の処理も動かせるようにする設計思想なんですよね。
テキトー教師DotAI 認定講師背景ブリーフによると、前モデルのNemotron 3 Nano 4Bは各種ベンチマークで低調で、改善余地が大きかった。そこからの立て直しという位置づけも見えてきます。
Nemotron 3.5 Bolt E4B 4GBでできること——マルチターンのツール呼び出しと会話モード
Nemotron 3.5 Bolt E4B 4GBの主要機能
マルチターンのツール呼び出し
- 会話を通じてアプリのAPIを呼びタスク実行
- 非同期ツール呼び出しの統合ガイダンスあり
- 公式例: 鍛冶屋NPCで支払い確認→レシピ調査→材料収集→作成→受け渡し
- When2Call-MT: 63.36(Bolt E4B)
会話モードと推論制御
- conversational_mode=True/Falseで切替
- 音声向けに簡潔な応答を促せる
- enable_thinking=True/Falseと実行時の思考予算で推論を制御
- レイテンシ目標に合わせ思考を打ち切る統合オプション
室谷代表取締役機能面でまず押さえたいのがマルチターンのツール呼び出しです。会話を通じてアプリのAPIを呼び、タスクを実行できる。
非同期のツール呼び出しの統合ガイダンスも用意されていると公式ページに書かれています。
非同期のツール呼び出しの統合ガイダンスも用意されていると公式ページに書かれています。
テキトー教師DotAI 認定講師公式ページの例がわかりやすいんですよ。鍛冶屋の商人NPCのテストでは、エージェントが商品の支払いを確認し、そこから自律的にツールを呼んでレシピを調べ、材料を集め、アイテムを作成してユーザーに渡すところまでやる。
講座で受講生さんによく言うんですが、ツール呼び出しは「呼べるか」より「いつ・どの順で呼ぶか」が難しいんですよね。
講座で受講生さんによく言うんですが、ツール呼び出しは「呼べるか」より「いつ・どの順で呼ぶか」が難しいんですよね。
室谷代表取締役そこを測るのがWhen2Call-MTという指標で、Bolt E4Bは63.36を記録しています。Gemma 4 E4Bが62.90、Qwen 3.5 4Bが37.85、前モデルのNano 4Bが27.70なので、ここは明確に差が出ている部分ですね。
テキトー教師DotAI 認定講師もう一つの柱が会話モードです。チャットテンプレートの
さらに
conversational_mode=True/Falseで切り替えて、音声向けに簡潔な応答を促せる。さらに
enable_thinking=True/Falseと実行時の思考予算で推論のオン・オフも制御できます。室谷代表取締役推論を切れば速く、入れれば複雑な依頼に対応できる。レイテンシ目標に合わせて思考を打ち切る統合オプションもあると。
音声アシスタントで「考えすぎて黙り込む」のは致命的なので、これは実運用目線の機能ですよね。
音声アシスタントで「考えすぎて黙り込む」のは致命的なので、これは実運用目線の機能ですよね。
テキトー教師DotAI 認定講師あとは64Kコンテキストに、会話履歴・指示・ツール定義・検索情報・アプリ状態を載せられる。35言語対応で、モデルカードの対応言語には英語、スペイン語、フランス語、ドイツ語、イタリア語、日本語などが挙げられています。
Nemotron 3.5 Bolt E4B 4GBの使い方・始め方——Hugging Faceとllama.cppで動かす
llama.cppでNemotron 3.5 Bolt E4B 4GBを動かす手順
- 01モデルを取得モデルカードのQuick Startに従い、GGUF本体とDFlashドラフターをhf downloadで取得
- 02サーバー起動llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_M のコマンド1本で起動
- 03OpenAI互換サーバーとして利用立ち上がったローカルサーバーを既存アプリからそのまま呼び出す
- 04スペキュラティブデコーディング(任意)llama.cppのDockerイメージで--spec-type draft-dflashを指定しDFlashドラフターを利用
室谷代表取締役入手経路は幅広いんですよ。公式ページではHugging Face、Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab、NVIDIA In-Game Inferencing SDKが案内されています。
Hugging Faceのモデルカードにはllama.cpp、vLLM、SGLang、Docker Model Runner、Lemonadeなどの手順まで載っています。
Hugging Faceのモデルカードにはllama.cpp、vLLM、SGLang、Docker Model Runner、Lemonadeなどの手順まで載っています。
テキトー教師DotAI 認定講師llama.cppならコマンド1本です。整理するとこうです。
code
llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB:Q4_K_MこれでOpenAI互換のローカルサーバーが立ち上がるので、既存のアプリからそのまま叩けるわけです。スペキュラティブデコーディング用にDFlashドラフターも同梱されていて、モデルカードのQuick StartではGGUF本体とドラフターを
hf downloadで取得して、llama.cppのDockerイメージで--spec-type draft-dflashを指定する手順が示されています。テキトー教師DotAI 認定講師DFlashは1回のフォワードパスでドラフトトークンをまとめて提案し、ターゲットモデルが並列に検証する仕組みです。公式ページによると、Gemma-4-E4Bの元のMTPドラフターと比べて最大21%高いスループットを出すとのこと。
室谷代表取締役チェックポイントは4種類あります。GGUFのポストトレーニング済みモデル、そのDFlashドラフター、BF16のHF版、そしてBF16版のDFlashドラフター（NVFP4）ですね。
量子化はllama.cppのimatrixキャリブレーションで、同じ学習ステップのRLロールアウト約100万トークンを使って行ったと技術レポートにあります。
量子化はllama.cppのimatrixキャリブレーションで、同じ学習ステップのRLロールアウト約100万トークンを使って行ったと技術レポートにあります。
テキトー教師DotAI 認定講師推奨サンプリングはtemperature 1.0、top_p 0.95（思考モードのオン・オフ両方）とモデルカードに明記されています。ここは設定を変えずにまず試すのが基本ですね。
対応ハードと必要メモリ——Jetson Orin NanoやGeForce RTXで動くのか
室谷代表取締役ここが実務では一番気になるポイントですよね。公式ページの推論性能表は、すべてQ4_K_M・バッチサイズ1・llama.cpp（CUDA）・AIPerfでの測定です。
整理するとこうです。
整理するとこうです。
| ハード | キャッシュ/入力/出力 | VRAM使用量 | TTFT | 生成速度 |
|---|---|---|---|---|
| RTX 5070（12GB） | 0 / 3K / 50 | 3.5GB | 548ms | 133.4 tok/s |
| RTX 5070（12GB） | 32K / 2K / 256 | 4.3GB | 1,238ms | 106.2 tok/s |
| RTX Spark（32GB） | 0 / 3K / 50 | 3.1GB | 930ms | 67.0 tok/s |
| RTX Spark（32GB） | 32K / 2K / 256 | 4.2GB | 1,988ms | 52.0 tok/s |
| Jetson Orin Nano（8GB） | 0 / 3K / 50 | 4.2GB | 5,785ms | 15.5 tok/s |
| Jetson Orin Nano（8GB） | 32K / 2K / 256 | 4.9GB | 6,259ms | 13.0 tok/s |
| Jetson AGX Orin（32GB） | 0 / 3K / 50 | 4.2GB | 3,687ms | 24.0 tok/s |
| Jetson AGX Orin（32GB） | 32K / 2K / 256 | 5.0GB | 4,091ms | 20.3 tok/s |
テキトー教師DotAI 認定講師注目はJetson Orin Nano 8GBでも4.2〜4.9GBに収まっている点です。公式スレッドでも、Reachy MiniがJetson Orin Nano 8GB上でローカルに動き、Boltが会話、NVIDIA Cosmosが視覚を担当する構成が紹介されています。
室谷代表取締役ただしTTFTが約5.8秒、生成が15.5 tok/sなので、音声アシスタントで即答させたいならRTX 5070のようなデスクトップGPUのほうが現実的です。MYUUUでも端末側で動かす案件はまずレイテンシの予算を決めるところから始めますが、この表はその判断材料としてかなり親切ですね。
テキトー教師DotAI 認定講師対応ハードは公式ページでGeForce RTX、Jetson、RTX Spark、DGX Sparkと明記されています。なお、この表の数値はハードや推論ソフト、設定によって変わり得ると注記されています。
MultiChallenge首位の実力——Gemma 4 E4Bとの差と「賢さあたりのサイズ」
室谷代表取締役性能の話をしましょう。Scale AIの投稿では、Bolt E4BがMultiChallengeで56.03%を記録し、Gemma 4 E4Bの43.2%に12.8ポイント差をつけて小型言語モデル首位と紹介されています。
テキトー教師DotAI 認定講師ここは丁寧に扱いたいところです。モデルカードのQ4_K_M列ではMultiChallengeは55.60、BF16列では53.10。
つまり出典によって数値が異なります。56.03%の測定条件（量子化やハーネス）は資料に記載がないので、条件を断定せず、数値が出典間で揺れている点だけ押さえておくのが正確です。
つまり出典によって数値が異なります。56.03%の測定条件（量子化やハーネス）は資料に記載がないので、条件を断定せず、数値が出典間で揺れている点だけ押さえておくのが正確です。
室谷代表取締役とはいえ傾向ははっきりしています。MultiChallengeは、ユーザーが以前話した内容を覚えているか、チャット冒頭で設定した指示を守れるかといった、現実的なマルチターン会話の持続力を測るベンチマークです。
Bolt E4Bは55.60、Gemma 4 E4Bは39.36、Qwen 3.5 4Bは52.23、Nano 4Bは34.53（いずれもQ4_K_M）。会話の一貫性で明確に前に出ています。
Bolt E4Bは55.60、Gemma 4 E4Bは39.36、Qwen 3.5 4Bは52.23、Nano 4Bは34.53（いずれもQ4_K_M）。会話の一貫性で明確に前に出ています。
テキトー教師DotAI 認定講師公式ページいわく、Bolt E4Bは主要な会話エージェント系ベンチマークで前モデル比およそ40%高い平均品質、他社の同等モデル比でおよそ10%高いスコア。さらに出力トークンは最大80%少ないとされています。
室谷代表取締役出力が短いのは大きいですよ。生成トークンが減ればデコードの計算もコストも減って、応答も速くなる。
ベンチマークの点数だけでなく「同じ仕事を何トークンで済ませるか」を見ているのが、このモデルの面白さなんですよね。
ベンチマークの点数だけでなく「同じ仕事を何トークンで済ませるか」を見ているのが、このモデルの面白さなんですよね。
テキトー教師DotAI 認定講師個別に見ると、指示階層のIHEvalが84.79対67.04、ペルソナ遵守のRoleMRCが80.63対74.62、ツール接地のRelyToolBenchが63.16対61.60（いずれもBF16でBolt E4B対Gemma 4 E4B）。一方でEQ-Bench v3は39.40対41.17、RULER（64K）は86.99対86.55、LongBench v2（48K）は50.50対49.34と、すべてで勝っているわけではありません。
室谷代表取締役そこは正直に言っておきたいですね。感情知能や長文理解ではGemma 4 E4Bと同等か僅差。
Bolt E4Bの強みは会話の一貫性、指示階層、ツール呼び出しの接地感に寄っている、というのが数字から読み取れます。
Bolt E4Bの強みは会話の一貫性、指示階層、ツール呼び出しの接地感に寄っている、というのが数字から読み取れます。
テキトー教師DotAI 認定講師公式ページにはクラウド参照値としてGemini 3.8 Flash（77.1 / 2,449.5ms）とClaude Sonnet 5.5（76.2 / 3,002.2ms）の数値も併記されています。ただしこれはRTX 5090上で約3K/50の入出力条件で測った参考値で、同じ土俵の比較ではない点に注意が必要です。
ライセンスと提供範囲——オープンウェイトで商用利用は可能か
室谷代表取締役ライセンスはOpenMDW-1.1で、モデルカードには「商用・非商用利用に対応」と明記されています。重み・データ・レシピがオープンというのがNemotron系列の一貫した方針ですね。
テキトー教師DotAI 認定講師ここは正確に。Bolt E4BはGoogleのGemma 4モデル上にポストトレーニングされているため、Gemma 4側の利用はApache License 2.0が適用されるとモデルカードに書かれています。
自社サービスに組み込むなら、両方の条件を確認しておきたいところです。
自社サービスに組み込むなら、両方の条件を確認しておきたいところです。
室谷代表取締役公開形態も実務向けで、GGUFとBF16のHF版、それぞれのDFlashドラフターが揃っています。展開地域はGlobal。
データのカットオフは2026年5月、モデルの日付は2025年12月から2026年5月とされています。
データのカットオフは2026年5月、モデルの日付は2025年12月から2026年5月とされています。
テキトー教師DotAI 認定講師学習レシピも公開されていて、RLVRとRLHFをNeMo-RLとNeMo-Gymで回し、ツール呼び出し、指示追従、指示階層、構造化出力などのデータセットが列挙されています。受講生さんで「自分でファインチューニングしたい」という人にはありがたい公開範囲ですね。
Nemotron 3.5シリーズ内での位置づけ——Super VLやBolt 74B-A9Bとの選び分け
室谷代表取締役同じ日に出た3モデルの選び分けを整理しましょう。NVIDIAのブログによると、Super VLは120Bパラメータのオープンモデルで、常時稼働のエージェント向けに最速のタスク完了と最高精度をうたう大型モデル。
Bolt 74B-A9B 24GBは、24GBのメモリに収まるようネイティブ2bit量子化を使い、ローカルのエージェント作業を担うモデルです。
Bolt 74B-A9B 24GBは、24GBのメモリに収まるようネイティブ2bit量子化を使い、ローカルのエージェント作業を担うモデルです。
テキトー教師DotAI 認定講師そしてBolt E4B 4GBは、GeForce RTX、Jetson、RTX/DGX Spark上の物理・会話エージェント向け。つまり、サーバーのSuper VL、デスクトップのBolt 74B-A9B、端末のBolt E4Bという三層構造です。
室谷代表取締役シリーズの位置づけも面白いですよ。NemotronファミリーにはLightning、Ultra、Boltがあり、Lightningは高スループット、Ultraは最难の推論、Boltはエッジに知能を届ける役割とされています。
Bolt 74B-A9Bの詳細はNVIDIAの「Nemotron 3.5 Bolt 24GB」とは？74B-A9Bを24GBに収めたローカルエージェント向けモデルで、Super VLの全容はNVIDIAの「Nemotron 3.5 Super VL」とは？120Bのマルチモーダルモデルで解説しています。
Bolt 74B-A9Bの詳細はNVIDIAの「Nemotron 3.5 Bolt 24GB」とは？74B-A9Bを24GBに収めたローカルエージェント向けモデルで、Super VLの全容はNVIDIAの「Nemotron 3.5 Super VL」とは？120Bのマルチモーダルモデルで解説しています。
テキトー教師DotAI 認定講師選び方はシンプルです。端末で音声アシスタントやNPCを動かしたいならBolt E4B 4GB、デスクトップでコーディングや調査を任せたいならBolt 74B-A9B 24GB、データセンターで高精度のマルチモーダル処理を回すならSuper VL。
メモリ予算から逆算するのが一番迷わないですね。
メモリ予算から逆算するのが一番迷わないですね。
よくある質問
室谷代表取締役ここからは、よく聞かれる点に答えておきますね。
テキトー教師DotAI 認定講師まず「リリース日と入手方法は？」。2026年10月23日にHugging FaceとBuild.NVIDIA.comで公開されています。
Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab、NVIDIA In-Game Inferencing SDKなどからも利用できます。
Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab、NVIDIA In-Game Inferencing SDKなどからも利用できます。
室谷代表取締役「日本語は使える？」。はい、対応35言語に日本語が含まれています。
土台モデルは140言語以上で事前学習されています。
土台モデルは140言語以上で事前学習されています。
テキトー教師DotAI 認定講師「GeForce RTXで動く？」。公式の測定ではRTX 5070（12GB）でVRAM使用量3.5GB、TTFT 548ms、133.4 tok/sです。
Jetson Orin Nano 8GBでも4.2GBで動作し、15.5 tok/sと報告されています。
Jetson Orin Nano 8GBでも4.2GBで動作し、15.5 tok/sと報告されています。
室谷代表取締役「商用利用はできる？」。OpenMDW-1.1で商用・非商用に対応しています。
ただし土台のGemma 4にはApache License 2.0が適用される点は確認してください。
ただし土台のGemma 4にはApache License 2.0が適用される点は確認してください。
テキトー教師DotAI 認定講師「MultiChallengeの56.03%はどの条件？」。この数値の測定条件は資料に記載がありません。
モデルカードのQ4_K_M列では55.60、BF16列では53.10と記載されており、出典によって数値が異なる点だけご留意ください。
モデルカードのQ4_K_M列では55.60、BF16列では53.10と記載されており、出典によって数値が異なる点だけご留意ください。
室谷代表取締役4GB級でここまで会話とツール呼び出しができると、端末側エージェントの設計が現実味を帯びてきます。まずはllama.cppで1本立てて、自分のユースケースでTTFTと会話の一貫性を測ってみる。
それが一番早いと思います。
それが一番早いと思います。
