DeepInfer（ディープインファー）は、DeepSeekが2026年にオープンソースとして公開した推論フレームワークで、同社の大規模本番サービスを支えてきた推論スタックのうちオフライン推論向けの主要機能を提供するものです。対応モデルはDeepSeek-V4.1-Flashで、ライセンスはApache-2.0です。
室谷代表取締役DeepSeekが本番で使っている推論フレームワークをそのままオープンソースにした、という発表なんですよね。これは地味に見えてかなり大きい話で・・・。
テキトー教師DotAI 認定講師そうなんですよ。モデルの重みはこれまでも公開されてきましたけど、実際にどう速く動かすかという推論レイヤーの知見は各社があまり出してこなかった部分です。
そこをApache-2.0で出してきたのが今回のポイントですね。
そこをApache-2.0で出してきたのが今回のポイントですね。
室谷代表取締役しかも同時にdeepseek-recipeというトークン変換の部品まで出していて。APIと同じ挙動を自前の配備で再現できる、というのが開発者には刺さる話だと思います。
DeepInferとは？DeepSeekがオープンソース化した本番推論フレームワーク
まとめ
DeepInferの要点
- DeepSeekの大規模本番サービスを動かす高性能推論フレームワーク。オープンソース版はオフライン推論向けに主要機能を切り出したもの
- 公式READMEに「本番サービスを支えるフレームワーク」と明記されており、信頼性の根拠になる
- 対応モデルはDeepSeek-V4.1-Flash。将来のDeepSeekモデルの推論コードや継続的最適化も追加予定
- 公開直後でスター9.1k、フォーク784、プルリクエスト57件。初回コミットから3コミット時点での注目度
- ライセンスはApache-2.0で商用利用も含めて扱いやすい
- vLLMを主な土台とし、SGLangやTensorRT-LLMからも着想を得て構築された(READMEの謝辞に明記)
テキトー教師DotAI 認定講師まず定義を整理しておくと、DeepInferはDeepSeekの大規模本番サービスを動かしている高性能推論フレームワークで、今回のオープンソース版はオフライン推論向けにスケール配信の主要機能を切り出したもの、という位置づけです。
室谷代表取締役公式のREADMEを読むと「DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services」とあって、本番で使っているものだとはっきり書いてあるんですよね。ここが信頼性の根拠になります。
テキトー教師DotAI 認定講師対応モデルはDeepSeek-V4.1-Flashですね。あと「将来のDeepSeekモデルの推論コードや継続的な最適化もここに入ってくる」と公式スレッドで案内されているので、リポジトリが今後も育っていく前提で見ておくといいと思います。
室谷代表取締役リポジトリは公開直後の時点でスターが9.1k、フォークが784、プルリクエストが57件という数字がGitHubに出ています。初回コミットから3コミットという状態でこの注目度なので、コミュニティの期待値はかなり高いですね。
テキトー教師DotAI 認定講師ライセンスはApache-2.0です。商用利用も含めて扱いやすい条件なので、検証目的で触ってみるハードルは低いと思います。
室谷代表取締役前提として、DeepInferはもともとvLLMを主な土台として構築され、SGLangやTensorRT-LLMからも着想を得たとREADMEの謝辞に明記されているんですよ。ゼロから独自に作ったというより、既存の知見を本番向けに研ぎ澄ませたもの、という理解が正確です。
テキトー教師DotAI 認定講師そこは誤解されやすいので、記事としてもしっかり押さえておきたいところですね。
DeepInferでできること——高性能カーネル・分散推論・投機的デコーディング・構造化出力
DeepInferでできること
高性能カーネルとランタイム
FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、独自のTileLangカーネル。モデル／サンプラーのランタイムを最適化
並列化
Attention DP／balanced CP、MoE EP＋EPLB
投機的デコーディング
DSparkと信頼度に基づく検証スケジューリング。DEEPINFER_ENABLE_MTP_VARLEN=1で有効化、DEEPINFER_USE_NEXTN_DECODEで下書き最大長を制御（デフォルト5）
SWA Bounded Replay
注意機構の窓を前提にプロンプト処理で保持する末尾を限定して計算を削減。V4.1デフォルトはDEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact、DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140
非同期スケジューリング
CPU側のバッチスケジューリングとデバイス実行を重なり合わせるゼロオーバーヘッドのバッチスケジューラ。デフォルトで有効
バッチ不変推論
バッチ構成が変わってもモデルの結果を同一に保つ。DEEPINFER_BATCH_INVARIANT=1で有効、NVIDIAのみ対応
決定論的サンプリング
同じ入力トークンと同じサンプリングパラメータなら同じ出力。DEEPINFER_BATCH_INVARIANT=1とDEEPINFER_ENABLE_MTP_VARLEN=0を設定し、SamplingParamsに固定のseq_seedを渡す
構造化出力
正規表現、JSONスキーマ、EBNF文法に生成を制約。SamplingParamsにso_args={"schema_type": ..., "schema": ...}を渡す
室谷代表取締役機能の中身がかなり具体的なので、整理するとこうです。
- 最適化カーネルとモデル／サンプラーのランタイム（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、独自のTileLangカーネル）
- 並列化：Attention DP／balanced CP、MoE EP＋EPLB
- DSparkと信頼度に基づく検証スケジューリング（投機的デコーディング）
- SWA Bounded Replay
- 非同期スケジューリング（ゼロオーバーヘッドのバッチスケジューラ）
- バッチ不変推論
- 決定論的サンプリング
- 構造化出力
テキトー教師DotAI 認定講師単に「速い」という話じゃないんですよ。バッチ不変推論はバッチ構成が変わってもモデルの結果を同一に保つ機能で、決定論的サンプリングは同じ入力トークンと同じサンプリングパラメータなら同じ出力になる機能です。
再現性が求められる検証や評価の場面で効いてきます。
再現性が求められる検証や評価の場面で効いてきます。
室谷代表取締役環境変数で切り替える仕様も公開されていて、バッチ不変推論はDEEPINFER_BATCH_INVARIANT=1で有効、NVIDIAのみ対応という条件が付いています。決定論的サンプリングはDEEPINFER_BATCH_INVARIANT=1とDEEPINFER_ENABLE_MTP_VARLEN=0を設定し、SamplingParamsに固定のseq_seedを渡す形ですね。
テキトー教師DotAI 認定講師投機的デコーディングまわりも細かいです。DSparkは下書きトークンで加速し、信頼度推定で検証をスケジュールする仕組みで、DEEPINFER_ENABLE_MTP_VARLEN=1で有効化、DEEPINFER_USE_NEXTN_DECODEで下書きの最大長を制御します。
デフォルトは5です。
デフォルトは5です。
室谷代表取締役SWA Bounded Replayは、注意機構の窓を前提にプロンプト処理で保持する末尾を限定して計算を削る仕組みです。V4.1のデフォルト設定としてはDEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compactとDEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140を指定する形で、保持する末尾はSWAウィンドウと最大バックトラック長をカバーする必要がある、と注意書きがあります。
テキトー教師DotAI 認定講師構造化出力は正規表現、JSONスキーマ、EBNF文法に生成を制約できる機能で、SamplingParamsにso_args={"schema_type": ..., "schema": ...}を渡す形です。エージェント用途でJSONを確実に返したい場面では効いてきますね。
室谷代表取締役非同期スケジューリングはCPU側のバッチスケジューリングとデバイス実行を重なり合わせるもので、デフォルトで有効になっています。こういう「既定でオンになっている最適化」の積み重ねが本番のスループットを作っているんだなと。
テキトー教師DotAI 認定講師モデル側の背景も見ておくと、DeepSeekはV4.1-FlashについてKVキャッシュが前世代比でHBMが1/4、SSDが1/8になると説明しています。キャッシュヒット課金がエージェントコストの大きな割合を占めるという指摘もありました。
推論側の最適化とモデル側の省メモリ化がセットで進んでいる構図ですね。V4.1-Flash自体の詳細はDeepSeek V4.1 Flashとは？552B MoEとAA-AgentPerf首位のGB300を読み解くで解説しています。
推論側の最適化とモデル側の省メモリ化がセットで進んでいる構図ですね。V4.1-Flash自体の詳細はDeepSeek V4.1 Flashとは？552B MoEとAA-AgentPerf首位のGB300を読み解くで解説しています。
DeepInferの使い方・始め方——対応モデルとNVIDIA／Huawei Ascend環境
DeepInferの導入手順
- 01Python 3.12の空環境を用意前提: Linux / GCC 13.0以上 / Python 3.12 / CUDA 13（NVIDIA）または CANN 9.2（Ascend）
- 02アクセラレータを環境変数で指定NVIDIAなら DEEPINFER_ACCELERATOR=nvidia、Ascendなら ascend をエクスポート
- 03./build.sh を実行指定したアクセラレータ向けにビルド
- 04オフライン推論サンプルを実行python examples/offline_inference.py で動作確認
- 05モデルを必要に応じてローカル指定初回は deepseek-ai/DeepSeek-V4.1-Flash-1017 がHugging FaceキャッシュにDL。ローカルコピーは DEEPINFER_HF_MODEL_DIR でパス指定
テキトー教師DotAI 認定講師導入条件がREADMEにかなり具体的に書かれているので、ここも整理しておきます。
- OS：Linux
- GCC 13.0以上
- Python 3.12
- CUDA 13（NVIDIAの場合）
- CANN 9.2（Ascendの場合）
室谷代表取締役手順としては、まず空のPython 3.12環境を作ってから、NVIDIAならDEEPINFER_ACCELERATOR=nvidiaを環境変数にエクスポートして./build.shを実行する流れです。Ascendの場合はnvidiaの代わりにascendを指定します。
テキトー教師DotAI 認定講師ビルド後はオフライン推論のサンプルが用意されていて、python examples/offline_inference.pyを実行すると動きます。初回実行時にデフォルトのチェックポイントdeepseek-ai/DeepSeek-V4.1-Flash-1017がHugging Faceのキャッシュにダウンロードされ、ローカルのコピーから動かしたい場合はDEEPINFER_HF_MODEL_DIRでパスを指定する形ですね。
室谷代表取締役対応ハードはNVIDIA SM100 GPUとHuawei Ascend 950 NPUです。SM100というのは比較的新しい世代のGPUなので、手元の環境で試せる人は限られるかもしれません。
テキトー教師DotAI 認定講師性能ベンチマークについては、prefillが4台のSM100 GPU、decodeが64台で測定され、それぞれ1つのスケールアップドメイン内で測ったとREADMEにあります。再現用のスクリプトとしてrun_sweep.shも用意されています。
室谷代表取締役ただ、具体的な数値は今回の資料では確認できていないので、そこは現時点では明らかにされていない部分として扱うのが正確ですね。評価用ベンチマークはeval/README.mdにまとまっていると案内されています。
テキトー教師DotAI 認定講師受講生さんからよく聞かれるんですが、手元のGPUで動かすにはそれなりの規模のマシンが必要です。まずはクラウドのSM100インスタンスを借りて検証する、という進め方が現実的だと思います。
室谷代表取締役あと、DeepSeekは2000 GPU規模＋ストレージクラスタの大規模配備に関心のある利用者への呼びかけも行っています。自前で大規模配備を考えている組織にとっては、相談窓口が開いているというのは実務的に大きいですね。
deepseek-recipeとは？公式APIと同じ挙動を再現するトークン変換ライブラリ
室谷代表取締役ここが今回の発表でもう一つの主役なんですよ。deepseek-recipeは、異なる形式のAPIリクエストを統一的にConversation形式へ変換し、DeepSeekモデル向けのプロンプトに描画し、トークナイザを添えてトークンIDにエンコードし、モデル出力を対応する形式のレスポンスに変換するRustライブラリとPythonバインディングの集合体です。
テキトー教師DotAI 認定講師単に「便利ツールを出しました」という話じゃないんですよ。公式APIの処理ロジックに揃えてあるので、コミュニティ側の配備でも同じ挙動を再現できる、というのが本質です。
室谷代表取締役対応範囲も広くて、Messages、Chat Completions、Responsesのリクエスト変換、ストリーミングレスポンス、完全なレスポンスに対応しています。テキスト、画像、思考モード、クライアントツール呼び出し、Chat Completionsのプレフィックス継続もサポート対象です。
テキトー教師DotAI 認定講師生成設定まわりも細かいです。思考モード、reasoning effort、temperature、top_p、出力トークン上限に対応していて、max_tokensがリクエストに無い場合のデフォルトは、思考モード外が8192、思考モードが65536、思考モードかつ最大effortが131072と決まっています。
室谷代表取締役出力解析は推論内容、ツール呼び出し、JSONオブジェクト出力、停止シーケンスに対応しています。トークナイザを添付するとreasoning_tokensも報告される仕組みです。
テキトー教師DotAI 認定講師構造化出力はChat Completionsのresponse_formatでjson_schemaかregex、Responsesのtext.formatでjson_schemaを指定できます。JSON Schemaは検証されてプロンプトに書き込まれ、正規表現はResponseFormat::Regexとしてそのまま渡される形ですね。
室谷代表取締役画像まわりは、base64か外部URLで渡せて、DeepSeek V4.1向けにOpenCVで前処理されます。DeepSeek V4は画像を受け付けないので、V4のリクエスト内の画像は[Unsupported Image]というテキストに置き換えられる仕様です。
テキトー教師DotAI 認定講師セキュリティ面の注意も書かれていて、ReqwestImageFetcherはデフォルトで任意のアドレスに接続するため、信頼できないリクエストからURLを取得するサービスはDestinationFilterを導入すべき、と明記されています。ここは実装時に見落としやすいポイントですね。
室谷代表取締役ツール定義は関数ツールに加えて、Responsesではツール名前空間とapply_patchカスタムツールにも対応しています。V4.1はMessagesでの遅延ツール読み込みと、Responsesでのクライアント実行ツール検索をサポートします。
テキトー教師DotAI 認定講師使い方はPythonならpip install deepseek-recipeで入って、Python 3.10以上が条件です。ChatCompletionRequestを作ってconvertしてrender_conversationする、という流れですね。
Rustならcargo addでdeepseek-recipe@0.2とdeepseek-recipe-encoding@0.2を追加します。
Rustならcargo addでdeepseek-recipe@0.2とdeepseek-recipe-encoding@0.2を追加します。
室谷代表取締役モデル名からバージョンを解決する仕組みで、デフォルトではDeepSeek-V4-ProとDeepSeek-V4.1-Flashを受け付け、deepseek-flashのような別名はConversionOptions::with_model_aliasで登録する形です。
テキトー教師DotAI 認定講師パッケージ構成も整理されていて、プロトコル変換と出力解析のdeepseek-recipe、共通型のdeepseek-recipe-core、プロンプト描画とトークンエンコードのdeepseek-recipe-encoding、画像取得と前処理のdeepseek-recipe-image、prompt!マクロのdeepseek-recipe-macros、Pythonバインディングのdeepseek-recipe-python、デモのencoding-decoding-demo、モック推論付きのserver-rsとserver-pyという顔ぶれです。
室谷代表取締役ライセンスはDeepInferがApache-2.0なのに対して、deepseek-recipeはMIT Licenseです。ここは混同しないようにしたいですね。
同梱のトークナイザの通知はstatic/tokenizers/README.mdにまとまっています。
同梱のトークナイザの通知はstatic/tokenizers/README.mdにまとまっています。
テキトー教師DotAI 認定講師ちなみに呼び出し側が用意する必要があるのは、モデル推論、ツール実行、HTTPトランスポートです。ライブラリは変換と描画と解析を担うので、バックエンドは自分で選べる設計になっています。
なぜ今オープンソース化？DeepSeekの狙いと推論コスト削減の背景
室谷代表取締役公式スレッドでは「本番スタックを共有することで、コミュニティが計算コストを下げ、エネルギー使用を減らし、AIをより手頃にすることを支援する」と述べられているんですよね。狙いがかなりストレートに書かれています。
テキトー教師DotAI 認定講師単に技術を公開したという話じゃないんですよ。DeepSeekはV4.1-Flashの発表時点で「オープンソース支援・配備選択肢の拡大」を掲げていて、今回の公開はその延長線上にある動きとして整理できます。
室谷代表取締役背景にはコスト構造の変化があります。DeepSeekはV4.1-FlashでKVキャッシュが前世代比HBM 1/4・SSD 1/8になると説明し、キャッシュヒット課金がエージェントコストの大きな割合を占めると指摘していました。
推論の効率化がそのまま利用者のコストに効く構図です。
推論の効率化がそのまま利用者のコストに効く構図です。
テキトー教師DotAI 認定講師API側の価格も整理しておくと、deepseek-flashは1M入力トークンのキャッシュヒットがオフピーク$0.003・ピーク$0.006、キャッシュミスがオフピーク$0.15・ピーク$0.3、1M出力トークンがオフピーク$0.6・ピーク$1.2です。オフピークはピークの50%で、ピーク時間はUTC月曜から金曜の01:00〜04:00と06:00〜10:00、中国の祝日を除く、となっています。
室谷代表取締役コンテキスト長は1M、最大出力は384Kで、同時実行数の上限は2500です。モデル名はdeepseek-flashを使う形で、旧名のdeepseek-v4-flashとdeepseek-v4-flash-vision-expも受け付けますが、対応モデルは引退済みでリクエストはDeepSeek-V4.1-Flash-1017が処理する、という案内になっています。
テキトー教師DotAI 認定講師室谷代表取締役自前配備の選択肢が広がると、APIを使うか自前でホストするかを組織が選べるようになります。MYUUUでも、用途によってAPIとセルフホストを使い分ける相談は増えているので、この公開は実務の選択肢を確かに増やしますね。
テキトー教師DotAI 認定講師ただ、今回の公開はオフライン推論が対象です。完全な推論サービスに必要なKVキャッシュシステム、VE/Prefill/Decode分離、データ並列レプリカ間の負荷分散は含まれていないとREADMEに明記されています。
ここを誤解すると「これだけでサービスが立てられる」と思ってしまうので注意が必要です。
ここを誤解すると「これだけでサービスが立てられる」と思ってしまうので注意が必要です。
室谷代表取締役公式スレッドでも「プライベート配備からパブリッククラウドまで」と書かれていて、コミュニティと一緒に大規模推論を効率化していくというスタンスが示されています。オープンモデル、オープンカーネル、オープン推論、というスローガンですね。
vLLMなどとの関係と今回公開されていない範囲——過度な期待をしないための注意点
テキトー教師DotAI 認定講師既存ツールとの関係を正確にしておくと、DeepInferはもともとvLLMを主な土台として構築され、SGLangやTensorRT-LLMからも着想を得たとREADMEの謝辞に書かれています。llm_engine.pyの冒頭にも「Derived from vLLM; modified by DeepSeek.」というコメントがあります。
室谷代表取締役つまりvLLMの代替として真っ向から競合するというより、vLLMの上に本番向けの最適化を積み上げたフォーク的な性格が強い、という理解が正確なんですよね。
テキトー教師DotAI 認定講師今回公開されていない範囲もはっきりしています。KVキャッシュシステム、VE/Prefill/Decode分離、データ並列レプリカ間の負荷分散の3つです。
ただしVE/Prefill/Decode分離については「必要なエンジン機能の大部分はすでに実装済み」と注記されています。
ただしVE/Prefill/Decode分離については「必要なエンジン機能の大部分はすでに実装済み」と注記されています。
室谷代表取締役LLMEngineのdocstringにも「This release does not include an online-serving wrapper.」とあって、オンライン配信用のラッパーは含まれていないと明言されています。オフラインのバッチ推論用にLLMクラスがこのエンジンを包む形です。
テキトー教師DotAI 認定講師ですので、これをそのまま本番APIサーバとして立てる、という使い方は想定されていません。バッチ処理や評価、研究用途で使うのが今回の公開の素直な使い方だと思います。
室谷代表取締役対応GPUがNVIDIA SM100とHuawei Ascend 950に限られている点も、試せる人の幅を狭めます。手元の古いGPUで動かせるかというと、少なくともREADMEには記載がありません。
テキトー教師DotAI 認定講師性能数値についても、ベンチマークの測定条件は書かれていますが、具体的なスループットの数字は今回の資料では確認できていません。ここは現時点では明らかにされていない、と正直に書くのがいいですね。
室谷代表取締役あと、DeepInferという名前について、資料には別プロジェクトとの混同に関する記載はありません。名前が似た別のサービスがあるという話も今回のソースには無いので、そこは触れずにおきます。
テキトー教師DotAI 認定講師リポジトリの状態も見ておくと、公開直後は3コミット、プルリクエストが57件、issueがdeepseek-recipe側に4件という状況です。活発ではありますが、まだ初期段階なのでAPIや設定項目が今後変わる可能性は考慮しておくべきですね。
室谷代表取締役実際に試すなら、まずexamples/offline_inference.pyを動かして、次に構造化出力やバッチ不変推論の環境変数を変えながら挙動を確認する、という順番がいいと思います。
テキトー教師DotAI 認定講師モデル側の量子化やローカル実行の話はDeepSeek V4.1-Flash-1017とは？Unslothが1-bit量子化で128GBローカル実行に対応で扱っています。推論フレームワークと量子化は別レイヤーの話なので、混ぜずに理解するのが大事です。
室谷代表取締役V4-ProとV4.1-Flashの違いを整理したい場合はDeepSeek V4とは？V4-ProとV4.1-Flashの違いと料金・安全性を整理が参考になります。DeepInferが対応するのはV4.1-Flashなので、そこは区別しておきたいところです。
よくある質問
テキトー教師DotAI 認定講師読者から出そうな質問を整理しておきますね。
室谷代表取締役まず「DeepInferは無料で使えるのか」ですが、ライセンスはApache-2.0なので、条件に従えば利用できます。ただしモデルの重みやAPI利用は別の話で、APIはトークン課金があります。
テキトー教師DotAI 認定講師「どのモデルに対応しているのか」は、今回の公開時点ではDeepSeek-V4.1-Flashです。将来のDeepSeekモデルの推論コードもここに入ってくる予定だと公式スレッドで案内されています。
室谷代表取締役「日本語環境でも動くのか」については、必要な前提がLinux、GCC 13.0以上、Python 3.12、CUDA 13またはCANN 9.2と指定されています。OSやドライバの条件を満たす必要があります。
テキトー教師DotAI 認定講師「vLLMの代わりになるのか」という質問も来そうですが、DeepInferはvLLMを主な土台として構築されたもので、今回の公開はオフライン推論向けです。KVキャッシュシステムや負荷分散などは含まれていないので、そのまま置き換えるものではありません。
室谷代表取締役「deepseek-recipeは何のために使うのか」は、異なるAPI形式のリクエストを統一的な会話形式に変換し、プロンプト描画とトークン化と出力解析までを担う部品です。公式APIと同じ処理ロジックに揃えてあるので、自前配備でも同じ挙動を再現できます。
ライセンスはMIT Licenseです。
ライセンスはMIT Licenseです。
テキトー教師DotAI 認定講師「性能はどのくらいなのか」については、ベンチマークの測定条件は公開されていますが、具体的な数値は今回の資料では確認できていません。再現用のスクリプトが用意されているので、自環境で測るのが確実です。
室谷代表取締役「商用利用できるのか」は、DeepInferがApache-2.0、deepseek-recipeがMIT Licenseなので、いずれも商用利用を含めて扱いやすい条件です。ただし同梱物の通知はstatic/tokenizers/README.mdにまとまっているので、そこは確認しておきましょう。
テキトー教師DotAI 認定講師最後に「なぜオープンソースにしたのか」ですが、公式スレッドでは計算コストとエネルギー使用を下げ、AIをより手頃にするためだと説明されています。あわせて2000 GPU規模の大規模配備に関心のある利用者への呼びかけも行われています。
室谷代表取締役総じて、モデルだけではなく推論スタックまで開くという流れがはっきり見えた発表でした。オフライン推論という範囲の限定はありますが、本番の知見がApache-2.0で触れるようになった意味は大きいと思います。
テキトー教師DotAI 認定講師まずはリポジトリを読んで、動かせる環境がある人はexamplesから試してみる。それが一番の理解への近道ですね。
