DeepSeek-V4.1-Flash-1017 GGUFは、Unslothが2026年11月2日に公開した、DeepSeekの748Bパラメータモデル「DeepSeek-V4.1-Flash-1017」をローカル環境で動かすためのGGUF形式の量子化モデルで、新アルゴリズム「Unsloth Dynamic V3.1（プレビュー）」を適用して精度劣化を抑えたのが特徴です。
室谷代表取締役いやー、これは待ってた人多いんじゃないですかね。DeepSeek-V4.1-Flash-1017って748Bですから、フル精度で手元に置くなんて普通は無理なんですよね。
それをUnslothがGGUFに落として、しかも新しい量子化アルゴリズムまで入れてきた、という話です。
それをUnslothがGGUFに落として、しかも新しい量子化アルゴリズムまで入れてきた、という話です。
テキトー教師DotAI 認定講師そうですね。単に「GGUFが出ました」という話じゃないんですよ。
量子化の“作り方”自体を更新して、ベンチマークの測り方まで作り直してきたのが今回のポイントで。受講生さんからも「巨大モデルをローカルで動かすには何が必要か」という質問がよく出るので、そこに正面から答える発表だと思います。
量子化の“作り方”自体を更新して、ベンチマークの測り方まで作り直してきたのが今回のポイントで。受講生さんからも「巨大モデルをローカルで動かすには何が必要か」という質問がよく出るので、そこに正面から答える発表だと思います。
室谷代表取締役まず前提を揃えておくと、GGUFはllama.cppなどで動かせるローカル推論用のモデルファイル形式で、量子化は数値精度を下げてファイルサイズと必要メモリを削減する技術なんですよね。1-bitから16-bitまで段階があって、精度を保ちつつ軽くするほど優秀、という世界です。
テキトー教師DotAI 認定講師そこが今回の肝で。Unslothの資料では、従来のベンチマーク評価には「32Kコンテキストは短すぎる」「ベンチマークが飽和している」「ノイズが多い」「採点器が誤っている」といった課題があったと指摘されているんです。
つまり量子化の良し悪しを測る“ものさし”自体が怪しかった、と。
つまり量子化の良し悪しを測る“ものさし”自体が怪しかった、と。
DeepSeek-V4.1-Flash-1017 GGUFとは？Unslothが公開した量子化モデルの概要
まとめ
DeepSeek-V4.1-Flash-1017 GGUFの要点
- DeepSeekが2026年10月17日にリリースした748Bパラメータのモデルで、V4.1-Flashからのマイナーアップデート
- 推論・コーディング・エージェントタスク・視覚系ベンチマークで改善しつつ、タスク実行時間と出力長を削減
- 552Bのバックボーンに196Bの「Engram」パラメータが乗る構成で、EngramをSSDに退避させることでRAM/VRAM要件を下げられる
- Unslothが重みをGGUFに変換してHugging Faceで公開。リポジトリ名はunsloth/DeepSeek-V4.1-Flash-1017-GGUF、ライセンスはMIT
- 単なる変換ではなく、Unsloth Dynamic V3.1という新アルゴリズムのプレビュー版
室谷代表取締役モデル本体の整理からいきましょう。DeepSeek-V4.1-Flash-1017は、DeepSeekが2026年10月17日にリリースした748Bパラメータのモデルで、V4.1-Flashからのマイナーアップデートという位置づけです。
推論、コーディング、エージェントタスク、視覚系ベンチマークで改善しつつ、タスク実行時間と出力長を削減した、とDeepSeekは説明しています。
推論、コーディング、エージェントタスク、視覚系ベンチマークで改善しつつ、タスク実行時間と出力長を削減した、とDeepSeekは説明しています。
テキトー教師DotAI 認定講師構成が面白いんですよ。552Bのバックボーンに196Bの「Engram」パラメータが乗る形で、このEngramをSSDに退避させることでRAM/VRAM要件を下げられる。
だからこそ巨大モデルなのにローカル実行の現実味が出てくるわけです。
だからこそ巨大モデルなのにローカル実行の現実味が出てくるわけです。
室谷代表取締役で、Unslothがその重みをGGUFに変換してHugging Faceで公開した、と。リポジトリ名は
MYUUUでも巨大モデルのローカル検証はやっていますけど、748Bクラスになると「どの量子化を選ぶか」で必要なマシンがまるっきり変わるんですよね。
unsloth/DeepSeek-V4.1-Flash-1017-GGUFで、ライセンスはMITです。MYUUUでも巨大モデルのローカル検証はやっていますけど、748Bクラスになると「どの量子化を選ぶか」で必要なマシンがまるっきり変わるんですよね。
テキトー教師DotAI 認定講師そこは後半で整理します。まず押さえるべきは、今回のGGUFが単なる変換ではなく、Unsloth Dynamic V3.1という新アルゴリズムのプレビュー版だということです。
DeepSeek-V4.1-Flash-1017 GGUFでできること——512K文脈のエージェント系ベンチで他社量子化を上回る
まとめ
Unsloth主張のベンチマーク検証ポイント
- 512KコンテキストでTerminal Bench・DeepSWE・Automation Benchなどエージェント系ベンチを実施し総合最上位と主張
- 1-bit Unsloth GGUFはDeepSWE 68.1、Terminal-Bench 72.2、AutomationBench 52.7で他量子化より10%以上先行
- エージェント系は512K、一般タスクは128Kコンテキストで実施。データ量は1.3B→35.1Bトークンへ27倍
- AIME 2025は量子化ごとに64回、DeepSWEとTerminal Benchは各3回実施
- 採点はmath_verify、gpt-6-luna xhigh、公式Harbor、fail-to-pass/pass-to-passテストを使用
- インフラ起因の誤採点を修正：CPUアフィニティ固定で385件、標準入出力モック不備で468件、math_verifyタイムアウトで8,520件が反転
- GSQ-RCOの「AIME25で全量子化100%」は再現できず、実際はベースライン94.64%保持程度とUnslothは反論
- KLDで見るとGSQ-RCOはUnsloth旧v3量子化より元モデルからのズレが大きいと説明
- いずれもUnsloth側の主張であり第三者検証ではない点に注意
室谷代表取締役ここが一番ニュース性のあるところですね。Unslothは512KコンテキストでTerminal Bench、DeepSWE、Automation Benchなどのエージェント系ベンチマークを実施して、総合で最上位にランクしたと主張しています。
1-bitのUnsloth GGUFがDeepSWEで68.1、Terminal-Benchで72.2、AutomationBenchで52.7で、他の量子化より10%以上先行すると。
1-bitのUnsloth GGUFがDeepSWEで68.1、Terminal-Benchで72.2、AutomationBenchで52.7で、他の量子化より10%以上先行すると。
テキトー教師DotAI 認定講師数字だけ見ると派手ですけど、ちゃんと前提を確認したいんですよ。Unslothのドキュメントによると、エージェント系は512Kコンテキスト、一般タスクは128Kコンテキストで実施していて、ベンチマークのデータ量は従来の1.3Bトークンから35.1Bトークンへ27倍に増やしている。
AIME 2025は量子化ごとに64回、DeepSWEとTerminal Benchは3回ずつ回しているんです。
AIME 2025は量子化ごとに64回、DeepSWEとTerminal Benchは3回ずつ回しているんです。
室谷代表取締役そこまでやるか、という感じですよね。しかも採点器の話もしていて、数学系はmath_verify、HLEはgpt-6-luna xhigh、Terminal Benchは公式のHarbor、DeepSWEはタスクごとのfail-to-passとpass-to-passテストで判定すると。
テキトー教師DotAI 認定講師実際、インフラ起因の誤採点も修正したと書かれています。LiveCodeBenchではCPU負荷でTime Limit Exceededが多発していて、CPUアフィニティを固定して再採点したら385件が誤りから正解に変わった。
標準入出力のモック不備で468件、数学系はmath_verifyのタイムアウトで8,520件が反転したと。
標準入出力のモック不備で468件、数学系はmath_verifyのタイムアウトで8,520件が反転したと。
室谷代表取締役8,520件ですよ。これ、逆に言うと今までの量子化ベンチの比較って、そのくらいブレていた可能性があるわけですよね・・・。
Unslothが「ベンチマークがノイズが多い」と指摘した意味がよく分かります。
Unslothが「ベンチマークがノイズが多い」と指摘した意味がよく分かります。
テキトー教師DotAI 認定講師あと競合の話も触れておきたいんですよ。ISTA-DASLabのGSQ-RCOが「AIME25で全量子化100%」と主張しているのに対して、Unslothは再現できず、実際はベースラインの94.64%を保持する程度だったと反論しています。
30問×16サンプル×各量子化で、temperature 1.0、reasoning effort 50の条件です。
30問×16サンプル×各量子化で、temperature 1.0、reasoning effort 50の条件です。
室谷代表取締役ここは慎重に書きたいところですね。あくまでUnsloth側の主張であって、第三者検証ではないですから。
ただ、KLD（KLダイバージェンス）で見てもGSQ-RCOはUnslothの旧v3量子化より高い、つまり元モデルからのズレが大きいとUnslothは説明しています。
ただ、KLD（KLダイバージェンス）で見てもGSQ-RCOはUnslothの旧v3量子化より高い、つまり元モデルからのズレが大きいとUnslothは説明しています。
テキトー教師DotAI 認定講師KLDは量子化モデルの次トークン予測が参照モデルからどれだけズレたかを測る指標で、0に近いほど忠実です。KLDが0なら出力ロジットが完全再現されて、元モデルと100%同じ出力になる。
だから量子化の第一目的はKLDを0に近づけつつディスク容量を減らすことだ、というのがUnslothの整理ですね。
だから量子化の第一目的はKLDを0に近づけつつディスク容量を減らすことだ、というのがUnslothの整理ですね。
室谷代表取締役DeepSeek-V4.1-Flash-1017 GGUFの使い方・始め方——llama.cpp/Ollama/LM Studio/vLLMでの実行手順
DeepSeek-V4.1-Flash-1017 GGUF 実行ツール別の始め方
llama.cpp
- macOS/Linux: インストールスクリプト
- Windows: WinGet またはソースからビルド
- llama serve -hf unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XL でサーバー起動
- llama cli でターミナル推論
Ollama / Docker / Lemonade
- Ollama: ollama run hf.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XL
- Docker Model Runner: docker model run hf.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XL
- Lemonade: lemonade pull で取得 → lemonade run
室谷代表取締役じゃあ実際どうやって動かすか、ですよね。Hugging Faceのモデルカードに各ツールの手順が載っていて、llama.cppならインストールして
llama serve -hf unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XLでOpenAI互換サーバーが立ち上がる、と。テキトー教師DotAI 認定講師整理するとこうです。モデルカードに記載されている実行方法を並べますね。
- llama.cpp: macOS/Linuxはインストールスクリプト、WindowsはWinGet、またはソースからビルド。
llama serve -hf unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XLでサーバー起動、llama cliでターミナル推論 - Ollama:
ollama run hf.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XL - LM Studio / Jan: モデルカードのローカルアプリ欄から利用
- vLLM:
pip install vllmの後、vllm serve "unsloth/DeepSeek-V4.1-Flash-1017-GGUF"でサーバー起動、OpenAI互換APIとして呼び出し - Docker Model Runner:
docker model run hf.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q4_K_XL - Lemonade:
lemonade pullで取得してlemonade run
室谷代表取締役ありがたいのは、llama.cppのPRかUnsloth Desktopアプリを使うように、と明記されているところですね。Unsloth Desktopとllama.cppの組み合わせで、他のCPU/VRAM/ngram系リポジトリより最大3倍高速な推論ができると説明されています。
テキトー教師DotAI 認定講師あと見落としがちなのがEngramの差し替えです。MXFP8からQ6_K、Q5_K、IQ4_NLに交換する手順がガイドに用意されていて、低ビット量子化ではIQ4_NLをEngramに使い、Q2_K_XLとIQ2_XXSはQ5_Kを使うと書かれています。
室谷代表取締役既存のツール連携も広く用意されていて、Pi、Hermes Agent、OpenClawあたりはllama.cppサーバーを立ててbase_urlを
http://127.0.0.1:8080/v1に向ける構成が案内されています。エージェント系ツールと組み合わせる前提の作りなんですよね。テキトー教師DotAI 認定講師プロンプトエンコーディングの注意もあって、このリリースにはJinja形式のチャットテンプレートが含まれていないんですよ。代わりに
ここは実装者がハマりやすいポイントですね。
encoding.pyという自己完結のPythonリファレンス実装が入っていて、本番用途にはRust製ライブラリ群のdeepseek-recipeが用意されています。ここは実装者がハマりやすいポイントですね。
室谷代表取締役推奨サンプリングパラメータも公式に明記されていて、temperature 1.0、top_p 1.0、context_windowは1Mトークン、max_tokensは256K以上、と。この辺はそのまま使うのが無難だと思います。
必要スペックと量子化バリアントの選び方——1-bitからフル精度までのRAM/VRAM目安
室谷代表取締役ここが実用上いちばん大事なんですよね。公式ガイドでは、最小の1-bitでも128GB以上のRAM、64GBでも低速動作は可能、3-bitは256GB、フル精度は320GBが目安とされています。
テキトー教師DotAI 認定講師ファイルサイズも整理しておきましょう。モデルカードに載っているバリアントはこうです。
- 1-bit: UD-IQ1_S 233GB、UD-IQ1_M 250GB
- 2-bit: UD-IQ2_XXS 300GB、UD-Q2_K_XL 335GB
- 3-bit: UD-IQ3_XXS 395GB、UD-IQ3_S 424GB、UD-Q3_K_XL 485GB
- 4-bit: UD-Q4_K_XL 501GB
- 8-bit: UD-Q8_K_XL 508GB、ほかにDSPARK Q8_0 7.98GB
- 16-bit: DSPARK BF16 8.51GB
室谷代表取締役見てもらうと分かる通り、4-bitと8-bitのサイズ差がほとんどないんですよ。500GB前後でほぼ横並び。
だから「とりあえず4-bit」でいいのか、というと、UnslothのガイドではUD-Q8_K_XLをロスレス、UD-Q4_K_XLをニアロスレスと表現していて、UD-Q8_K_XLが508.4GB、UD-Q4_K_XLが500.7GBとされています。
だから「とりあえず4-bit」でいいのか、というと、UnslothのガイドではUD-Q8_K_XLをロスレス、UD-Q4_K_XLをニアロスレスと表現していて、UD-Q8_K_XLが508.4GB、UD-Q4_K_XLが500.7GBとされています。
テキトー教師DotAI 認定講師つまり容量に余裕があるなら8-bit、少しでも削りたいなら4-bitという選び方になる。1-bitや2-bitは128GB〜の省メモリ環境向けだけど、Unsloth自身が「量子化は推論長を増やす」と書いているのが注意点なんですよ。
小さいビット数の量子化ほど考える時間が長くなるので、reasoning budgetを多めに確保する必要がある、と。
小さいビット数の量子化ほど考える時間が長くなるので、reasoning budgetを多めに確保する必要がある、と。
室谷代表取締役これは実際に運用してみると効いてくる話ですよね。ビット数を落とすとメモリは減るけど、生成トークンが増えてトータルの時間とコストが上がる可能性がある。
うちでも量子化モデルの検証はやっていますけど、サイズだけで選ぶと後で「遅い」となるパターン、ありますからね・・・。
うちでも量子化モデルの検証はやっていますけど、サイズだけで選ぶと後で「遅い」となるパターン、ありますからね・・・。
テキトー教師DotAI 認定講師Unslothのデータでは、Unslothの量子化はGSQの量子化よりトランケーションがずっと少ない、つまり考えすぎない傾向があると示されています。32Kコンテキストで全テストを実施して、考えすぎた量子化は失敗扱いにする条件で比較したものです。
室谷代表取締役あと見落とせないのが、1-bitでも128GB必要という現実ですね。64GBでも動くけど低速、と。
ここは「手元のノートPCでサクッと」という話ではないので、購入前にちゃんと計算したほうがいいです。
ここは「手元のノートPCでサクッと」という話ではないので、購入前にちゃんと計算したほうがいいです。
テキトー教師DotAI 認定講師その意味では、まずはAPIで試して、どうしてもローカルが必要な場合にGGUFを選ぶ、という順番が現実的かもしれません。料金や提供条件はDeepSeek-V4.1-Flash-1017とは？料金・ピーク時間と実測、Search APIで整理しています。
Dynamic V3.1とは？新量子化アルゴリズムの狙いとベンチマーク評価の改善点
室谷代表取締役で、このDynamic V3.1って何なのか、という話ですよね。Unslothの説明では、新しい量子化アルゴリズムで、ほぼすべてのベンチマークでUnslothの量子化を改善し、他社よりベストインクラスだと主張しています。
テキトー教師DotAI 認定講師狙いはシンプルで、KLDを下げて元モデルへの忠実度を上げつつ、ファイルサイズを抑えることです。KLDが0に近いほど出力ロジットが完全再現される。
だからKLDは妥当な指標だ、というのがUnslothの立場ですね。
だからKLDは妥当な指標だ、というのがUnslothの立場ですね。
室谷代表取締役「KLDはゲーミングできる」という指摘に対しても、複数のホールドアウトテストで測って、UDv3.1がGSQ-RCOより全領域で良いと示しています。top-1%一致率も全ホールドアウトテストで出している、と。
テキトー教師DotAI 認定講師ベンチマーク評価の改善点は先ほど触れた通りで、512Kコンテキストのエージェント系、飽和していない新しいベンチマーク、27倍のデータ量、そして採点器の修正です。特に採点器の修正で数千件の判定が反転したというのは、量子化研究の土台が整備されたという意味で大きいんですよ。
室谷代表取締役あと面白いのが、グラフ用にEngramを外して検証しても結果は変わらなかった、という記述ですね。低ビット量子化はIQ4_NLをEngramに使い、Q2_K_XLとIQ2_XXSはQ5_Kを使うので、Engramの扱いがスコアに影響しないことを確認した、と。
テキトー教師DotAI 認定講師室谷代表取締役ただ、繰り返しになりますけど、これはUnsloth側の主張ですからね。GSQ-RCOの主張を再現できなかったというのもUnslothの発表であって、独立した第三者検証ではない。
そこは冷静に読むべきです。
そこは冷静に読むべきです。
料金・ライセンス・提供範囲——無料で使えるか、日本から利用できるか
室谷代表取締役ライセンスはMITです。モデルカードにも「This repository and the model weights are licensed under the MIT License」と明記されています。
つまり無料で使えます。
つまり無料で使えます。
テキトー教師DotAI 認定講師ここは誤解がないようにしたいんですけど、無料なのはモデルの重みとライセンスであって、動かすためのハードウェアは当然ながら自己負担です。128GB以上のRAM、3-bitなら256GB、フル精度なら320GBという話でしたよね。
室谷代表取締役あと提供範囲ですが、Hugging Faceのリポジトリは誰でもアクセスできますし、日本からでも普通にダウンロードできます。Inference Providersの欄を見ると「This model isn't deployed by any Inference Provider」とあるので、現時点では推論プロバイダー経由の提供はない、と。
自分で環境を用意する前提ですね。
自分で環境を用意する前提ですね。
テキトー教師DotAI 認定講師ダウンロード数は月間51万件を超えていて、注目度の高さが分かります。ベースモデルは
deepseek-ai/DeepSeek-V4.1-Flash-1017で、そこから量子化されたモデルが172個、そのうちUnslothの量子化が10モデル、という構成です。室谷代表取締役あとDeepSeek側の話も整理しておくと、V4.1-Flash-1017は公式サイト、アプリ、APIで提供されていて、APIの呼び出し方法と料金は変わらず
deepseek-flashで最新モデルにアクセスできる、と。Search & Fetch APIは1エンドポイントあたり1,000コール0.75ドルで、DeepSeek Harness、Claude Code、Codexのサーバーサイドツール経由の呼び出しは2026年10月31日16:00 UTCまで無料、その後課金開始と案内されています。テキトー教師DotAI 認定講師これはGGUFとは別の話なので混同しないようにしたいですね。GGUFはあくまでローカル実行用で、APIの料金体系とは切り離して考える必要があります。
室谷代表取締役そうそう。ローカルで動かすなら電気代とハード代、APIで使うならトークン課金、という別のコスト構造なんですよね。
Cursorの対応状況などはCursorの「DeepSeek V4.1 Flash」対応とは？CursorBenchでコスト対性能の最前線あたりが参考になると思います。
Cursorの対応状況などはCursorの「DeepSeek V4.1 Flash」対応とは？CursorBenchでコスト対性能の最前線あたりが参考になると思います。
よくある質問
室谷代表取締役じゃあ最後に、よく聞かれそうなところを整理しておきますか。
テキトー教師DotAI 認定講師まず「DeepSeek-V4.1-Flash-1017は前バージョンから何が変わったのか」ですが、DeepSeekの公式発表ではV4.1-Flashからのマイナーアップデートで、推論、コーディング、エージェントタスク、視覚ベンチマークで改善し、タスク実行時間と出力長を削減したと説明されています。具体的なスコアはTerminal-Bench 4.0が42.3、DeepSWE v1.1が77.0、Automation-Bench v1.0.6が60.5などで、V4.1-Flashの31.2、74.2、54.8から向上しています。
室谷代表取締役「必要スペックは」という質問には、最小の1-bitで128GB以上のRAM、64GBでも低速動作可、3-bitは256GB、フル精度は320GB、と答えることになりますね。
テキトー教師DotAI 認定講師「無料で使えるか」はMITライセンスなのでモデル自体は無料です。「日本から使えるか」もHugging Faceから取得できるので可能ですが、推論プロバイダー経由の提供は現時点ではないので、自前の環境が必要です。
室谷代表取締役「どの量子化を選べばいいか」は、容量に余裕があればUD-Q8_K_XL（ロスレス、508.4GB）、少し削るならUD-Q4_K_XL（ニアロスレス、500.7GB）、メモリが厳しければ1-bitや2-bitだけど推論長が増える点に注意、という整理になります。
テキトー教師DotAI 認定講師「abliterated版やuncensored版はあるか」という点については、今回の公式ページ抜粋とUnslothの発表資料には記載が見当たりません。現時点では明らかにされていません、と答えるのが正確ですね。
室谷代表取締役「Search & Fetch APIはGGUFからも使えるのか」も気になるところですが、これはDeepSeekのAPI側の機能で、ローカルのGGUFに組み込まれる話ではないんですよね。ここは混同しないようにしたいです。
テキトー教師DotAI 認定講師最後に、Dynamic V3.1はプレビュー版という位置づけなので、今後アップデートが入る可能性があります。導入を検討するなら、まずは公式ガイドとモデルカードを確認して、ご自身の環境のRAMと相談しながら量子化を選ぶのが良いと思います。
室谷代表取締役748Bを手元で動かす、というのは数年前なら夢物語でしたけど、量子化とEngramのオフロードで現実的になってきた、というのが今回の発表の面白さですよね。とはいえ128GBからですから、まずは計画的に、という感じです。
