室谷代表取締役Artificial Analysis Decision Index（人工分析ディシジョンインデックス）は、Artificial Analysisが2026年10月13日に発表した、決定モデルという新しいカテゴリのモデルを評価するベンチマークなんですよね。分類、ツール呼び出し、知識、幻覚、推論を対象に、能力・コスト・速度を比較する指標です。
テキトー教師DotAI 認定講師決定モデル、という言葉自体がまだ耳慣れないですよね。単に新しいモデルが出たという話じゃないんですよ。
Artificial AnalysisはこれまでIntelligence IndexやCyber Index、Search Indexなど複合指標を展開してきましたが、今回は「決まった選択肢から1回の呼び出しで答えを選ぶ」タイプのモデルを独立して測る枠組みを作ったのがポイントです。
Artificial AnalysisはこれまでIntelligence IndexやCyber Index、Search Indexなど複合指標を展開してきましたが、今回は「決まった選択肢から1回の呼び出しで答えを選ぶ」タイプのモデルを独立して測る枠組みを作ったのがポイントです。
室谷代表取締役発表の主語はあくまでArtificial Analysisです。Xで投稿されたからXが発表したわけではなく、評価機関であるArtificial AnalysisがDecision Index v1.0を出した、という整理ですね。
テキトー教師DotAI 認定講師ここで一度、決定モデルと従来の言語モデルの違いを整理しておきましょう。講座でも受講生さんがよく混同する部分です。
室谷代表取締役お願いします。
テキトー教師DotAI 認定講師整理するとこうです。
- 決定モデル: 状態（テキストや状況）と設問を受け取り、1回の呼び出しで構造化された答えを返す。選択式なら選んだ選択肢と全選択肢の確率を、Yes/NoならYesの確率を返す
- 言語モデル: 固定のシステムプロンプトとテキストを渡し、JSON形式で回答させる方式。構造化出力で強制する
- キャリブレーション（較正）: モデルが「確率80%」と言ったとき、実際にその精度が出ているかという指標
室谷代表取締役決定モデルは確率まで返すから、較正まで測れるわけですね。ここが言語モデルとの大きな違いなんですよ。
Artificial Analysis Decision Indexとは？何を測るベンチマークなのか
Artificial Analysis Decision Indexを構成する4つの評価
AA-Omniscience-Decision
AA-Omniscienceから適応した500問の非公開データセット。知識と幻覚傾向を測る
HLE-MultiChoice
Humanity's Last Examのテキストのみ多肢選択513問。推論能力を測る
When2Call
NVIDIAのツール呼び出し評価。ツールを呼ぶべきか、追加情報を求めるべきか、回答を断るべきか、直接答えるべきかを正しく判断できるかを測る
WildGuardTest
有害なユーザー要求、アシスタントの拒否、有害な応答にわたって分類能力を測る安全性評価
室谷代表取締役では中身に入ります。Decision Indexは、決定モデルの能力と性能を分類・ツール呼び出し・知識・幻覚・推論にわたって測る複合指標です。
4つの評価を組み合わせています。
4つの評価を組み合わせています。
テキトー教師DotAI 認定講師具体的には、AA-Omniscience-Decisionという知識と幻覚の評価、HLE-MultiChoiceという推論の評価、NVIDIAのWhen2Callというツール呼び出し評価、WildGuardTestという安全性分類の評価ですね。
室谷代表取締役それぞれの評価が何を測るか、もう少し細かく見ておきたいです。
テキトー教師DotAI 認定講師整理するとこうです。
- AA-Omniscience-Decision: AA-Omniscienceから適応した500問の非公開データセット。知識と幻覚傾向を測る
- HLE-MultiChoice: Humanity's Last Examのテキストのみ多肢選択513問。推論能力を測る
- When2Call: NVIDIAのツール呼び出し評価。ツールを呼ぶべきか、追加情報を求めるべきか、回答を断るべきか、直接答えるべきかを正しく判断できるかを測る
- WildGuardTest: 有害なユーザー要求、アシスタントの拒否、有害な応答にわたって分類能力を測る安全性評価
室谷代表取締役When2Callはエージェント型ワークフローやツールルーティングに関わる能力を測るのが面白いですよね。MYUUUでもエージェントを組むときに、どのツールに振るかの判断は地味に効いてくるので。
テキトー教師DotAI 認定講師WildGuardTestは、元の1,725行のうち835行のサブセットを使っている点もポイントです。3人の人間のアノテーターが3つのラベルすべてで一致した行を残し、モデルの拒否を一貫して引き起こす質問を除外しています。
室谷代表取締役評価の質を担保するために、データを絞っているわけですね。
Decision Indexの評価方法——4つのベンチマークと加重平均の仕組み
Decision Indexの4つのベンチマークと重み
| 評価 | 能力 | 指標 | 重み |
|---|---|---|---|
| AA-Omniscience-Decision | 知識と幻覚 | 正答率（12.5%）＋非幻覚率（12.5%） | 25% |
| HLE-MultiChoice | 推論 | 正答率 | 25% |
| When2Call | ツール呼び出し | 正答率 | 25% |
| WildGuardTest | 分類 | 平均F1 | 25% |
室谷代表取締役スコアの出し方も押さえておきましょう。Decision Indexは4つの評価の加重平均で、それぞれ25%ずつなんですよね。
テキトー教師DotAI 認定講師はい。ただしAA-Omniscience-Decisionだけは中身が2つに分かれていて、正答率が12.5%、非幻覚率が12.5%で、合計25%という配分です。
室谷代表取締役指標の定義も整理しておきましょう。
テキトー教師DotAI 認定講師整理するとこうです。
| 評価 | 能力 | 指標 | 重み |
|---|---|---|---|
| AA-Omniscience-Decision | 知識と幻覚 | 正答率（12.5%）＋非幻覚率（12.5%） | 25% |
| HLE-MultiChoice | 推論 | 正答率 | 25% |
| When2Call | ツール呼び出し | 正答率 | 25% |
| WildGuardTest | 分類 | 平均F1 | 25% |
室谷代表取締役タスクの出し方も独特です。各タスクは「状態」「判断対象のテキスト」「1つ以上の設問」で構成されていて、設問は名前付きの選択肢からの選択か、Yes/Noのどちらか。
モデルはタスクの全設問に1回の呼び出しで答えるんですよね。
モデルはタスクの全設問に1回の呼び出しで答えるんですよね。
テキトー教師DotAI 認定講師そうなんです。決定モデルには状態と設問をdecision APIに送り、選択式なら選んだ選択肢と全選択肢の確率が返ってきます。
Artificial Analysisは最も確率が高い選択肢をそのモデルの答えとして採点します。Yes/NoならYesの確率が返り、0.5以上ならYesとみなします。
Artificial Analysisは最も確率が高い選択肢をそのモデルの答えとして採点します。Yes/NoならYesの確率が返り、0.5以上ならYesとみなします。
室谷代表取締役言語モデルの場合は、固定のシステムプロンプトと状態・設問をテキストで渡し、各設問に許可された答えのどれかを与えるJSON回答を求めて、構造化出力で強制する方式ですね。
テキトー教師DotAI 認定講師同じ設問を、決定モデルは確率付きの1回呼び出しで、言語モデルは構造化出力で答える。この設計の違いが、後で出てくるコストと速度の差に直結します。
室谷代表取締役AA-Omniscience-Decisionの採点も見ておきましょう。500問はそれぞれ5択で、4つの答えのうち1つが正解、もう1つが「わからない」なんですよね。
テキトー教師DotAI 認定講師正答率は正しく答えた割合、非幻覚率は100×（1−幻覚率）で、幻覚率は正答できなかった問題のうち「わからない」ではなく誤答した割合です。つまり、間違えるくらいなら「わからない」と答えたほうが非幻覚率では評価される設計ですね。
室谷代表取締役HLE-MultiChoiceは513問を元の順序のまま出題し、答えの文字の完全一致で採点。When2Callは元の3,652タスクから、追加情報が必要か曖昧な229タスクを除いた3,423タスクを使い、正しいカテゴリの返答で答えた割合を採点。
WildGuardTestはプロンプト有害性・応答有害性・拒否の3つのF1の平均で採点、という整理ですね。
WildGuardTestはプロンプト有害性・応答有害性・拒否の3つのF1の平均で採点、という整理ですね。
テキトー教師DotAI 認定講師そこまで含めて、Artificial Analysisが独立に実施している評価だという点が重要です。
Decision Indexランキング上位は？Jev 1.13、GLiDE、Microsoft-Decision-1のスコア比較
Decision Indexランキングとコスト・速度の比較
| モデル | Decision Indexスコア | コスト(100万タスク) | 速度(1タスク) |
|---|---|---|---|
| Jev 1.13 (TypeSafe) | 58 | 42ドル | 0.13秒 |
| GLiDE (Fastino) | 54 | - | - |
| Microsoft-Decision-1 | 54 | 31ドル | - |
| Perplexity Decider v1.1 27B | - | 17ドル | - |
| Celeris-1 Decision | - | - | 0.06秒 |
室谷代表取締役ここからが結果です。Jev 1.13がDecision Indexで首位なんですよね。
TypeSafeのモデルで、スコアは58。GLiDE（Fastino）とMicrosoft-Decision-1が54で続きます。
TypeSafeのモデルで、スコアは58。GLiDE（Fastino）とMicrosoft-Decision-1が54で続きます。
テキトー教師DotAI 認定講師Jev 1.13は能力対コストのパレートフロンティア上にも位置しています。コスト面では、PerplexityのDecider v1.1 27Bが100万タスクあたり17ドルで最安。
Microsoft-Decision-1が31ドル、Jev 1.13が42ドルで、こちらもパレートフロンティア上です。
Microsoft-Decision-1が31ドル、Jev 1.13が42ドルで、こちらもパレートフロンティア上です。
室谷代表取締役速度はCeleris-1 Decisionが1タスク0.06秒で最速。Jev 1.13の0.13秒の2倍以上速いんですよ。
テキトー教師DotAI 認定講師ランキングとコスト・速度を並べると、スコアが高いモデルが必ずしも高いとは限らない構図が見えてきますね。
室谷代表取締役Microsoft-Decision-1については、Microsoft-Decision-1とは？OpenRouterで使える決定特化モデルでも詳しく解説しています。PerplexityのDecider v1.1もPerplexity Decider v1.1とは？OpenRouterで提供開始、半額・マルチモーダル化で扱っていますので、あわせてどうぞ。
テキトー教師DotAI 認定講師決定モデルはCeleris、Cloudflare、Fastino、Inception、Liquid AI、OpenAI、Microsoft、Perplexity、TypeSafeなど複数社が参入する新興カテゴリです。選択肢が増えているからこそ、こうした横断指標の意味が出てきます。
コストと速度で見る決定モデル——Decider v1.1 27BとCeleris-1 Decisionの強み
室谷代表取締役コストと速度は、実運用ではスコアと同じくらい効いてきます。Decision Index v1.0の4つのベンチマーク全体で見ると、PerplexityのDecider v1.1 27Bが100万タスクあたり17ドルで最安なんですよね。
テキトー教師DotAI 認定講師Decider v1.1 27Bは、Microsoft-Decision-1の31ドル、Jev 1.13の42ドルと並んで能力対コストのパレートフロンティア上に位置します。
室谷代表取締役速度はCeleris-1 Decisionが1タスク0.06秒で最速。Jev 1.13の0.13秒の2倍以上、そしてJev 1.13はClaude Haiku 5.5（Low）の1.4秒に対して11倍速い、という関係なんですよ。
テキトー教師DotAI 認定講師1タスクあたりの時間が0.06秒と1.4秒では、大量のタスクをさばくワークフローでの総時間がまるで変わります。ここは決定モデルのわかりやすい強みですね。
室谷代表取締役コストも、100万タスクあたり17ドルから184ドルまで開きがあります。タスク数を多く回すほど、この差は効いてきます。
テキトー教師DotAI 認定講師ただし、安い・速いだけで選ぶと後で述べる較正の問題に当たります。コストと速度は必要条件であって、十分条件ではないんですよ。
決定モデルは言語モデルより優れているのか？Claude Haiku 5.5との精度・コスト・速度比較
室谷代表取締役ここが一番気になる論点ですよね。決定モデルは言語モデルより優れているのか、という問い。
結論から言うと、タスク次第なんですよ。
結論から言うと、タスク次第なんですよ。
テキトー教師DotAI 認定講師Artificial Analysisの整理では、分類とツール呼び出しのタスクでは、主要な決定モデルは言語モデルと同等の性能を出しつつ、大幅に速く安い。一方で、知識と推論では言語モデルが大きく上回ります。
室谷代表取締役具体的な数字がClaude Haiku 5.5（Low）ですね。Decision Indexで61を記録し、Jev 1.13を3点上回ります。
ただし1タスクあたり1.4秒で、Jev 1.13の0.13秒に対して11倍遅い。コストは100万タスクあたり184ドルで、Jev 1.13の42ドルに対して4.4倍高いんですよ。
ただし1タスクあたり1.4秒で、Jev 1.13の0.13秒に対して11倍遅い。コストは100万タスクあたり184ドルで、Jev 1.13の42ドルに対して4.4倍高いんですよ。
テキトー教師DotAI 認定講師3点のスコア差のために11倍の時間と4.4倍のコストを払うか、というトレードオフが見えてきます。ここは用途で判断が分かれるところです。
室谷代表取締役分類やツール呼び出しのように、決まった選択肢から素早く選ぶことが中心のタスクなら、決定モデルのほうが合理的。逆に知識や推論が主役のタスクなら、言語モデルに軍配が上がる、という構図ですね。
テキトー教師DotAI 認定講師言語モデル側の比較については、ChatGPTとClaudeを徹底比較【2026年最新】：料金・性能・プログラミング・使い分けを完全解説も参考になります。ただしDecision Indexの文脈では、あくまで決定モデルと言語モデルの役割分担として捉えるのが大事です。
室谷代表取締役どちらかが上、ではなく、どこで使うかで選ぶ。これがArtificial Analysisがこの指標を作った狙いなんですよね。
決定モデルの弱点——知識・推論タスクで確率が当てにならない較正の問題
室谷代表取締役決定モデルの弱点もはっきり出ています。知識と推論のタスクで、較正がうまくいっていないんですよ。
テキトー教師DotAI 認定講師較正というのは、モデルが「確率80%」と言ったときに、実際にその精度が出ているかという指標です。Artificial Analysisの結果では、選んだ答えのほぼすべての確率水準で、実際の精度がその確率を下回っています。
つまり過信傾向があるということですね。
つまり過信傾向があるということですね。
室谷代表取締役このギャップが最も大きいのがAA-Omniscience-DecisionとHLE-MultiChoice。逆にWildGuardTestのような分類と、When2Callのようなツール呼び出しでは、ほとんどのモデルが比較的よく較正されているんですよね。
テキトー教師DotAI 認定講師ここは実務でとても重要です。決定モデルが返す確率を、そのまま信頼度として使うと、知識系のタスクでは過信した判断をしてしまう可能性があります。
室谷代表取締役確率付きで返ってくるから便利、と思ってそのまま閾値に使うと、知識系では裏切られることがある、ということですね。
テキトー教師DotAI 認定講師講座でも、確率は「モデルの自己申告」であって「保証された精度」ではない、と伝えています。知識や推論が絡むタスクでは、確率をそのまま意思決定の閾値にせず、検証のステップを挟むのが安全です。
室谷代表取締役分類やツール呼び出しのように較正が良好な領域では確率を活かしやすい。知識・推論では慎重に。
同じ決定モデルでも、タスクの種類で信頼の置き方が変わるわけですね。
同じ決定モデルでも、タスクの種類で信頼の置き方が変わるわけですね。
Decision Indexはどう活用する？エージェント型ワークフローでの決定モデル選定
室谷代表取締役では活用の話です。Artificial Analysisは、開発者や企業が「いつ、どう決定モデルを使うべきか」をよりよく理解できるように、この指標を育てていくと述べています。
テキトー教師DotAI 認定講師エージェント型ワークフローやツールルーティングでは、複雑な文章を生成するよりも、決まった選択肢から素早く安く選ぶことが求められます。そうした場面で決定モデルは向いていますね。
室谷代表取締役MYUUUでもエージェントを組むとき、ルーティングの部分は軽く速く回したいので、決定モデルは相性がいいと感じています。全部を1つのモデルでやるより、役割で分ける発想なんですよ。
テキトー教師DotAI 認定講師選定の観点を整理するとこうです。
- 分類・ツール呼び出しが中心のタスク: 決定モデルが有力。同等性能で大幅に速く安い
- 知識・推論が主役のタスク: 言語モデルのほうが優位
- コスト重視: Decider v1.1 27B（100万タスクあたり17ドル）が最安
- 速度重視: Celeris-1 Decision（1タスク0.06秒）が最速
- バランス重視: Jev 1.13（スコア58、100万タスクあたり42ドル）がパレートフロンティア上
室谷代表取締役エージェントの部品として決定モデルを組み込むなら、Microsoft Copilot Studioとは？できること・料金・ログインからエージェント作成までのようなエージェント構築の文脈と合わせて考えると、どこに決定モデルを挿すべきかが見えやすくなります。
テキトー教師DotAI 認定講師ただし、Decision Indexはv1.0で、Artificial Analysisも今後開発を続けるとしています。現時点の結果を絶対視せず、更新を追いながら選定に使うのが現実的ですね。
室谷代表取締役スコア、コスト、速度、そして較正。この4つを並べて見られるのがDecision Indexの価値なので、モデル選定の一次スクリーニングとして使うのがよさそうです。
よくある質問
Q. Artificial Analysis Decision Indexとは何ですか？
決定モデルの能力と性能を、分類・ツール呼び出し・知識・幻覚・推論にわたって測る複合指標です。AA-Omniscience-Decision、HLE-MultiChoice、When2Call、WildGuardTestの4評価を組み合わせ、それぞれ25%の加重平均で算出します。
Q. 最新バージョンは何ですか？
v1.0です。2026年10月から現在まで有効で、4つの評価を備えて登場しました。
Q. ランキング上位のモデルは？
Jev 1.13（TypeSafe）が58で首位、GLiDE（Fastino）とMicrosoft-Decision-1が54で続きます。
Q. コストが最も低いのは？
PerplexityのDecider v1.1 27Bで、100万タスクあたり17ドルです。Microsoft-Decision-1が31ドル、Jev 1.13が42ドルでパレートフロンティア上に並びます。
Q. 最も速いのは？
Celeris-1 Decisionで、1タスク0.06秒。Jev 1.13の0.13秒の2倍以上速いです。
Q. 決定モデルは言語モデルより優れていますか？
タスク次第です。分類とツール呼び出しでは決定モデルが言語モデルと同等性能で大幅に速く安い一方、知識と推論では言語モデルが大きく上回ります。Claude Haiku 5.5（Low）はDecision Indexで61とJev 1.13を3点上回りますが、1タスク1.4秒（11倍遅い）、100万タスクあたり184ドル（4.4倍高い）です。
Q. 決定モデルの弱点は？
知識と推論のタスクで較正が不十分です。選んだ答えのほぼすべての確率水準で、実際の精度がその確率を下回ります。一方、分類とツール呼び出しでは比較的よく較正されています。
Q. 他のArtificial Analysis指標との違いは？
Decision Indexは決定モデルに特化した指標です。Artificial AnalysisはIntelligence IndexやOpenness Index、Cyber Index、Search Indexなども展開していますが、Decision Indexは分類・ツール呼び出し・知識・幻覚・推論を対象に、決定モデルと言語モデルを比較する点が異なります。
