Qwen3.8-Flash-Next GGUFは、Unslothが2026年11月4日に公開した量子化モデルファイルで、新しい量子化アルゴリズム「Unsloth Dynamic V3.1（プレビュー）」によって、同サイズの量子化と比べて精度が約15%高く、トークン使用量が約50%少ない状態でローカル実行できるようにしたものです。
室谷代表取締役Qwen3.8-Flash-NextのGGUF、UnslothがDynamic V3.1で出してきましたね。これ、単なる量子化ファイルの更新じゃなくて、ローカルでエージェントを回す人にとってはかなり効く話なんですよ。
テキトー教師DotAI 認定講師そうなんですよね。発表では精度が約15%向上、トークン使用量が約50%削減、しかもthinkingとトークン消費がフル精度版の95%相当に一致するとされています。
単に「軽くなった」という話じゃないんですよ。
単に「軽くなった」という話じゃないんですよ。
室谷代表取締役まず前提として、Qwen3.8-Flash-Next自体がどんなモデルなのかを押さえておきたいですよね。Qwenの公式ブログによると、125Bパラメータで活性6BのMoEマルチモーダルモデルで、Qwen4アーキテクチャの実験的プレビューという位置づけです。
テキトー教師DotAI 認定講師しかも51BのN-gram埋め込みと4BのMTPを含む構成で、コンテキストは262,144トークン、拡張で1,000,000トークンまでいけると。フル精度のBF16だと355GBですから、そのままでは家庭用環境にはまず載りません。
室谷代表取締役そこをUnslothのGGUFが現実的なサイズに落としてくるわけです。MYUUUでもローカル推論の検証はよくやるんですが、モデルが大きくなると「量子化すると賢さが落ちる」問題がずっと付きまとうんですよね・・・。
Qwen3.8-Flash-Next GGUFとは？Unsloth Dynamic V3.1で何が変わったか
Unsloth Dynamic V3.1 × Qwen3.8-Flash-Next GGUFの要点
GGUFとは
llama.cppなどで使われるローカル推論向けのモデルファイル形式。量子化は数値精度を落としてサイズを小さくする技術。
Dynamic V3.1とは
Unslothの新しい量子化アルゴリズム。11月2日に先行公開されたものをQwen3.8-Flash-Nextに拡張。
精度 約15%向上
同サイズの他社量子化と比べて精度が約15%高い。
トークン使用量 約50%削減
トークン使用量が約50%削減される。
フル精度の95%相当
thinkingとトークン消費がフル精度のQwen3.8-Flashの95%相当に一致。
Mix N Match Engrams
N-gram埋め込みを差し替え可能。BF16/Q8_0/Q5_1/IQ4_NLのテーブルを選択でき、ディスクに余裕があれば高精度側に寄せられる。
テキトー教師DotAI 認定講師ここは整理しておきたいので、まず用語からいきましょう。GGUFはllama.cppなどで使われるローカル推論向けのモデルファイル形式で、量子化はモデルの数値精度を落としてサイズを小さくする技術です。
室谷代表取締役で、Dynamic V3.1はUnslothの新しい量子化アルゴリズムですね。11月2日に先行公開されたものを、今回Qwen3.8-Flash-Nextに拡張した形だと。
テキトー教師DotAI 認定講師発表で強調されているのは3点です。1つ目が同サイズの他社量子化と比べて精度が約15%高いこと。
2つ目がトークン使用量が約50%削減されること。3つ目がthinkingとトークン消費がフル精度のQwen3.8-Flashの95%相当に一致することです。
2つ目がトークン使用量が約50%削減されること。3つ目がthinkingとトークン消費がフル精度のQwen3.8-Flashの95%相当に一致することです。
室谷代表取締役3つ目が実は一番おもしろいところで。量子化モデルって、賢さはそこそこでも「考えすぎてトークンを垂れ流す」ことがあるんですよ。
それがフル精度の95%相当に揃うというのは、エージェント運用のコスト感覚が変わる話なんですよね。
それがフル精度の95%相当に揃うというのは、エージェント運用のコスト感覚が変わる話なんですよね。
テキトー教師DotAI 認定講師講座でも受講生さんから「ローカルモデルは安いけど、だらだら考え続けて結局時間がかかる」という声をよく聞きます。そこに効いてくる改善だと捉えています。
室谷代表取締役あと地味に大きいのが、N-gram埋め込みを差し替えられる「Mix N Match Engrams」ですね。BF16、Q8_0、Q5_1、IQ4_NLのテーブルが選べて、ディスクに余裕があれば高精度側に寄せられる。
テキトー教師DotAI 認定講師公式ドキュメントにはテーブルごとのサイズとRMSEも出ています。BF16が102.4GBでRMSE 0、Q8_0が54.4GBで0.0053、Q5_1が38.4GBで0.0376、IQ4_NLが28.8GBで0.0757です。
室谷代表取締役これは「量子化のどこを削ってどこを残すか」をユーザーが自分で選べるということですから、考え方としてはDynamic V3.1の思想そのものですよね。
Unsloth Dynamic V3.1のベンチマーク結果——精度15%向上・トークン50%削減の中身
量子化レベル別のディスク容量とtop-1精度
| 量子化レベル | ディスク容量 | top-1精度 |
|---|---|---|
| UD-IQ1_S | 72.5GB | 77.325 |
| UD-Q2_K_XL | 78.9GB | 82.715 |
| UD-Q4_K_XL | 111.3GB | 92.255 |
| UD-Q8_0 | 188.2GB | 94.122 |
テキトー教師DotAI 認定講師数字を整理しましょう。発表ではTerminal Bench 2.1が68.3%、DeepSWE v1.1が54.0%とされています。
評価は256Kコンテキストで行われたということです。
評価は256Kコンテキストで行われたということです。
室谷代表取締役ベンチマークの条件も細かく公開されていて、temperature 1.0、top_p 0.95、top_k 20、min_p 0、presence penaltyとrepetition penaltyなし、preserve_thinkingとxhigh reasoningという設定ですね。
テキトー教師DotAI 認定講師そしてベンチマーク全体で26.2Bトークンを消費したと。内訳はDeepSWEが18.1Bトークン、Terminal Benchが5.2Bトークンです。
エージェント系ベンチマークは256Kの非YaRNコンテキスト、一般ベンチマークは128Kで実施されたと書かれています。
エージェント系ベンチマークは256Kの非YaRNコンテキスト、一般ベンチマークは128Kで実施されたと書かれています。
室谷代表取締役26.2Bトークンって、普通にやったら相当なコストですよ・・・。そこまで振り切って測っているのは、それだけ量子化の差が出る領域だという裏返しでもありますね。
テキトー教師DotAI 認定講師評価の考え方も明示されていて、最初のプロットはベースラインからの精度回復率を全ベンチマークで平均したもの、つまり各量子化がQwen3.8-Flash-Nextのベースラインに対してどれだけ精度を保持できているかの指標だと説明されています。
室谷代表取締役あとKLDベンチマークも旧V3量子化と比較していて、大きく改善したと。KLDは量子化の歪みを見る指標なので、そこが改善しているのは納得感があります。
テキトー教師DotAI 認定講師量子化レベルごとの数字も公式ドキュメントに出ています。UD-IQ1_Sが72.5GBでtop-1 77.325、UD-Q2_K_XLが78.9GBで82.715、UD-Q4_K_XLが111.3GBで92.255、UD-Q8_0が188.2GBで94.122という並びです。
室谷代表取締役ここで注目したいのが、80%のtop-1精度回復を79%少ないディスク容量で実現できると書かれている点ですね。つまり容量を思い切り削っても、精度の8割は残せるという設計思想です。
テキトー教師DotAI 認定講師ただしPLEとN-gramはランダムアクセスパターンを持つため、4-bit未満にはあまり量子化しないと明記されています。そこを攻めるとモデルが壊れるからです。
室谷代表取締役このあたりのさじ加減がDynamic V3.1の腕の見せどころなんですよね。全部を均等に削るのではなく、壊していい場所とダメな場所を分けている。
以前のUnslothの「DeepSeek-V4.1-Flash-1017」GGUFとは？Dynamic V3.1で量子化でも同じ設計思想が解説されているので、あわせて読むと理解が早いです。
以前のUnslothの「DeepSeek-V4.1-Flash-1017」GGUFとは？Dynamic V3.1で量子化でも同じ設計思想が解説されているので、あわせて読むと理解が早いです。
Qwen3.8-Flash-Next GGUFの使い方・始め方——llama.cpp・Ollama・LM Studioでの実行手順
Qwen3.8-Flash-Next GGUF 実行方法別コマンド
llama.cpp
- macOS/Linux: curl -LsSf https://llama.app/install.sh | sh
- Windows: winget install llama.cpp
- 共通: llama serve -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
- OpenAI互換サーバー+Web UI付き
Ollama / Docker
- Ollama: ollama run hf.co/unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
- Docker Model Runner: docker model run hf.co/unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
テキトー教師DotAI 認定講師では実際の動かし方です。公式ページにはllama.cpp、Ollama、LM Studio、vLLM、Docker Model Runner、Lemonade、Unsloth Desktopなど複数の実行方法が並んでいます。
室谷代表取締役一番手軽なのはllama.cppのワンライナーですね。llama serveでOpenAI互換サーバーが立ち上がって、Web UIも付いてくる。
テキトー教師DotAI 認定講師整理するとこうです。
- llama.cpp（macOS/Linux）:
curl -LsSf https://llama.app/install.sh | shのあとllama serve -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL - llama.cpp（Windows）:
winget install llama.cppのあと同じくllama serve -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL - Ollama:
ollama run hf.co/unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL - Docker Model Runner:
docker model run hf.co/unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL - vLLM:
pip install vllmのあとvllm serve "unsloth/Qwen3.8-Flash-Next-GGUF"
室谷代表取締役ソースからビルドする場合はcmakeでllama-cli、llama-mtmd-cli、llama-server、llama-gguf-splitをターゲットに指定する形ですね。GPUがなければ
-DGGML_CUDA=OFF、MacのMetalはデフォルトで有効だと。テキトー教師DotAI 認定講師ダウンロードはhuggingface_hubのCLIで、
--include "*UD-Q4_K_XL*" のように量子化を指定して取る流れです。2-bitなら *IQ2_XXS* を指定します。室谷代表取締役Unsloth Desktopを使うとGUIで完結します。モデルハブでQwen3.8-Flashを検索して、量子化を選んでダウンロード、そのままチャット。
MTPも自動で有効になって、推論パラメータも自動設定されると。
MTPも自動で有効になって、推論パラメータも自動設定されると。
テキトー教師DotAI 認定講師公式ページのローカルアプリ一覧にはAtomic Chatの名前も挙がっています。ただしこれはUnsloth以外の量子化ビルドという意味ではなく、GGUFを動かすためのアプリの選択肢として並んでいるものです。
配布元と実行アプリは分けて考える必要があります。
配布元と実行アプリは分けて考える必要があります。
室谷代表取締役そこは混同しやすいので注意ですね。ファイルを配っているのはUnslothで、動かすアプリがllama.cppだったりLM Studioだったりする。
この記事で扱っているGGUFの配布元はUnslothのHugging Faceリポジトリです。
この記事で扱っているGGUFの配布元はUnslothのHugging Faceリポジトリです。
テキトー教師DotAI 認定講師コマンドラインでAPIとして立てたい場合は
unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL という形も用意されています。必要スペックと量子化サイズの目安——32GB以上のRAMで125B MoEは動くのか
室谷代表取締役ここが一番気になる読者が多いところですよね。125BのMoEを本当に手元で動かせるのか、という。
テキトー教師DotAI 認定講師公式ドキュメントのハードウェア要件表は、RAM+VRAMの合計、またはユニファイドメモリの合計で示されています。1-bitが32GB、2-bitが42GB、3-bitが50GB、4-bitが64GB、5-bitが80GB、8-bitが128GB、BF16が355GBです。
室谷代表取締役つまり最小構成なら32GBで動く。発表でも「32GB以上のRAM環境で動作する」と書かれています。
ただしドキュメントには「少なくとも75GBのRAMかユニファイドメモリが必要」という記述もあって、ここは量子化の選択と何を動かすかで読み分ける必要があります。
ただしドキュメントには「少なくとも75GBのRAMかユニファイドメモリが必要」という記述もあって、ここは量子化の選択と何を動かすかで読み分ける必要があります。
テキトー教師DotAI 認定講師そうなんですよ。最小の1-bit量子化は32GBで動くが、実用的な4-bitとなると64GB、5-bitなら80GBという整理です。
MTPを使って高速化するなら1〜2GBの余裕を追加で確保する必要があります。
MTPを使って高速化するなら1〜2GBの余裕を追加で確保する必要があります。
室谷代表取締役おもしろいのは、このモデルはCPUのシステムRAMでもGPUのVRAMでも、性能差が比較的小さいと書かれている点ですね。ユニファイドメモリや大容量RAMを積んだMac、NVIDIA DGX Sparkのようなマシンに向いていると。
テキトー教師DotAI 認定講師理由も書かれていて、N-gram埋め込みやper-layer embeddingがルックアップテーブルのような構造なので、量子化が過激になりにくく、結果として元の精度を保ちやすいと。さらにPLE/N-gram層をSSDにオフロードしてmmapを使えば、CPUとGPU VRAMの使用量を抑えられるそうです。
室谷代表取締役1-bitのファイルサイズが妙に大きいのもそこなんですよね。N-gram層があるぶん最小構成でも小さくならない。
逆に言えば、そのぶん精度が残る。トレードオフの設計がはっきりしているのはありがたいです。
逆に言えば、そのぶん精度が残る。トレードオフの設計がはっきりしているのはありがたいです。
テキトー教師DotAI 認定講師ちなみに量子化サイズの実数は、UD-IQ1_Sが72.5GB、UD-IQ1_Mが74.5GB、UD-Q2_K_XLが78.9GB、UD-IQ3_XXSが82.0GB、UD-Q3_K_XLが90.0GB、UD-IQ4_XSが93.7GB、UD-Q4_K_XLが111.3GB、UD-Q5_K_XLが158.3GB、UD-Q6_K_XLが169.2GB、Q8_0が188.2GBです。
室谷代表取締役表の「1-bit 32GB」とファイルサイズの72.5GBが食い違って見えるかもしれませんが、これは必要メモリの表とファイルサイズの表で意味が違うので、自分の環境に合わせて両方見る必要がありますね。
Qwen3.8-Flash-Nextのthinking設定とトークン消費——フル精度95%相当に迫る調整のポイント
テキトー教師DotAI 認定講師ここが実運用で一番効いてくる部分です。Qwen3.8-Flash-Nextはthinkingモードがデフォルトで、しかもxhigh、つまり最高深度に設定されています。
室谷代表取締役何もしないと一番深く考える設定になっているわけです。そりゃトークンも食いますよね。
テキトー教師DotAI 認定講師調整にはreasoning_effortを使います。xhigh（デフォルト、複雑なタスク向け）、medium（精度と速度のバランス）、low（速度とコスト優先）、noneの4段階です。
室谷代表取締役切り替え方はllama-serverやunsloth runで
--chat-template-kwargs '{"reasoning_effort":"medium"}' を渡す形ですね。WindowsのPowerShellだとエスケープが必要なので、そこだけ注意です。テキトー教師DotAI 認定講師サンプリング設定もモードごとに違います。thinkingモードがtemperature 1.0、top_p 0.95、top_k 20、min_p 0.0、presence_penalty 0.0、repetition_penalty 1.0。
instruct（非thinking）モードがtemperature 0.7、top_p 0.80、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0です。
instruct（非thinking）モードがtemperature 0.7、top_p 0.80、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0です。
室谷代表取締役コンテキストは最大262,144トークン。ここも指定を間違えるとメモリを食うので、実用上は必要な長さに絞ったほうがいいですね。
テキトー教師DotAI 認定講師もう1つ重要なのがPreserve Thinkingです。前の会話のthinkingトレースを残す機能で、トークン使用量は増えますが、継続会話での精度が上がる可能性があるとされています。
室谷代表取締役そしてQwenの公式ブログに書かれている注意点がかなり実務的で。マルチターンのエージェントタスクでは、reasoning effortを下げても全体の完了時間が必ずしも短くならない、と。
1ターンあたりの応答は速くなっても、分析が不十分になって失敗とリトライが増え、結果的にレイテンシもトークン消費も増えうる、と明言されているんですよ。
1ターンあたりの応答は速くなっても、分析が不十分になって失敗とリトライが増え、結果的にレイテンシもトークン消費も増えうる、と明言されているんですよ。
テキトー教師DotAI 認定講師これは受講生さんにもよく伝えているんですが、「考える量を減らせば速くなる」は短いタスクでは成り立っても、長いエージェント作業では成り立たないことがある。今回のDynamic V3.1が「トークンを50%削減しつつ精度を15%上げる」という方向を狙っているのは、まさにこのジレンマへの答えなんですよね。
室谷代表取締役削るべきは無駄な思考であって、必要な思考じゃない。そこを量子化側で最適化するという発想は、ローカル運用者としてはかなり助かります。
Qwen3.8-Flash-Next GGUFの入手先とライセンス・日本からの利用可否
テキトー教師DotAI 認定講師入手先はHugging Faceのunsloth/Qwen3.8-Flash-Next-GGUF、そしてModelScopeにもQwen3.8-Flash-Next-GGUFが用意されています。
室谷代表取締役ライセンスはqwen-community-1.0ですね。モデルカードに明記されています。
テキトー教師DotAI 認定講師日本からの利用可否についてですが、Hugging FaceやModelScopeは地域制限なしでアクセスできる通常の配布チャネルで、今回の資料に地域制限の記載はありません。ただしライセンス条件の詳細な解釈については、必ずモデルカードの原文を確認してください。
室谷代表取締役そこは各自で確認が原則ですね。あとMTPがUnslothで使えるようになっていて、1.3〜1.7倍の高速化がうたわれています。
これは公式ページのアップデート欄に書かれている内容です。
これは公式ページのアップデート欄に書かれている内容です。
テキトー教師DotAI 認定講師MTPは複数トークンをまとめて予測する高速化機構で、Qwen3.8-Flash-Nextでは1層分が組み込まれています。Unsloth Desktopでは自動で有効になり、無効化も可能です。
室谷代表取締役大きいモデルをローカルで回す流れは、DeepSeek V4.1-Flash-1017とは？Unslothが1-bit量子化で128GBローカル実行に対応のような動きとも重なります。量子化の進化が、動かせるモデルのサイズをじわじわ押し上げているんですよね。
テキトー教師DotAI 認定講師なお、今回の発表でQwen3.8-Flash-Nextの学習コストや料金に関する具体的な数値は示されていません。API提供の料金体系なども、この資料からは読み取れません。
現時点では明らかにされていない部分は、そのまま保留にするのが正確です。
現時点では明らかにされていない部分は、そのまま保留にするのが正確です。
よくある質問
室谷代表取締役ここからは、読者から聞かれそうな点を整理していきましょう。
テキトー教師DotAI 認定講師まず「どの量子化を選べばいいか」。公式のKLD分析では、UD-Q4_K_XLが111.3GBでtop-1 92.255、UD-Q5_K_XLが158.3GBで93.680、Q8_0が188.2GBで94.122です。
容量と精度のバランスを見て選ぶことになります。
容量と精度のバランスを見て選ぶことになります。
室谷代表取締役「32GBのマシンで動くのか」という質問も多いですね。最小の1-bit量子化なら32GBで動くとされていますが、実用的な精度を狙うならメモリに余裕を持たせる必要があります。
MTPを使うならさらに1〜2GBの余裕が要ります。
MTPを使うならさらに1〜2GBの余裕が要ります。
テキトー教師DotAI 認定講師「マルチモーダルは動くのか」。Qwen3.8-Flash-NextはImage-Text-to-Textのモデルで、モデルカードにも画像入力のサンプルが掲載されています。
llama.cppではllama-mtmd-cliがビルドターゲットに含まれています。
llama.cppではllama-mtmd-cliがビルドターゲットに含まれています。
室谷代表取締役「配布元ごとの違いは」。この記事で扱っているのはUnslothのunsloth/Qwen3.8-Flash-Next-GGUFです。
他の配布元との比較については、今回の資料には記載がないので、現時点では明らかにされていません。
他の配布元との比較については、今回の資料には記載がないので、現時点では明らかにされていません。
テキトー教師DotAI 認定講師「MTPはどう有効にするのか」。Unsloth Desktopでは自動で有効になり、手動で無効化もできます。
1.3〜1.7倍の高速化がうたわれていますが、実際の速度は環境依存なので、自分のマシンで測るのが確実です。
1.3〜1.7倍の高速化がうたわれていますが、実際の速度は環境依存なので、自分のマシンで測るのが確実です。
室谷代表取締役「フル精度とどれくらい違うのか」。発表ではthinkingとトークン消費がフル精度版の95%相当に一致するとされています。
ただしこれはUnslothの計測条件での話なので、タスクによって体感は変わると思います。
ただしこれはUnslothの計測条件での話なので、タスクによって体感は変わると思います。
テキトー教師DotAI 認定講師最後に「どのアプリで動かすのが楽か」。GUIならUnsloth Desktop、コマンドラインならllama.cpp、既存のOllama環境があるならOllamaのコマンド一発が手軽です。
LM StudioやvLLM、Docker Model Runnerの手順も公式ページに用意されています。
LM StudioやvLLM、Docker Model Runnerの手順も公式ページに用意されています。
室谷代表取締役ローカルで125B MoEが動く時代になってきたのは素直にすごいことですし、Dynamic V3.1のように「削り方」を工夫する競争が始まったのは、実務目線だとかなりありがたいんですよね。まずは自分のメモリに合った量子化を選んで、reasoning_effortを調整しながら試してみるのがいいと思います。
