Artificial Analysis Decision Index v2は、AI評価機関のArtificial Analysisが発表した、決定モデル（decision model）向けベンチマーク「Artificial Analysis Decision Index」の第2版です。正解かどうかに加えて「確信度の適切さ」を評価する新指標Decision Scoreを採用し、非公開データの比率を25%から45%へ引き上げたのが特徴です。
室谷代表取締役Artificial Analysis Decision Index v2は、Artificial Analysisが公開した決定モデル向けのベンチマーク第2版なんですよね。決定モデルというのは、文章を生成するのではなく、与えられた選択肢の中から1つを選び、各選択肢に確率を付けて1回の呼び出しで返すタイプのモデルです。
問い合わせメールの振り分けや緊急度判定みたいな用途を想定した、高速・低コストで構造化された判断を下すモデルですね。
問い合わせメールの振り分けや緊急度判定みたいな用途を想定した、高速・低コストで構造化された判断を下すモデルですね。
テキトー教師DotAI 認定講師そうなんですよ。単に「賢いモデルランキング」の話じゃないんです。
決定モデルは「どの選択肢を選んだか」だけでなく「どれくらい自信があるか」まで返してくる。だから評価の物差しも、正解率だけでは足りないわけです。
今回のv2はそこを正面から測りにいったアップデートですね。
決定モデルは「どの選択肢を選んだか」だけでなく「どれくらい自信があるか」まで返してくる。だから評価の物差しも、正解率だけでは足りないわけです。
今回のv2はそこを正面から測りにいったアップデートですね。
室谷代表取締役しかも今回は非公開データの比率を25%から45%に増やして、ベンチマークのゲーミング対策を強めている。ここは実務で使う側としてはかなり重要な変化です。
Artificial Analysis Decision Index v2とは？何が発表されたのか
Artificial Analysis Decision Index v1.0 vs v2
v1.0
- 2026年10月13日公開
- 4評価で構成
- AA-Omniscience-Decision 25%
- HLE-MultiChoice 25%
- When2Call 25%
- WildGuardTest 25%
- プライベートデータは限定的
v2
- 6評価の複合インデックス
- AA-Paperclip 30%
- EvalSafe-O*NET-AA 15%
- When2Call 10%
- AA-Omniscience-Decision v1.1 15%
- HLE-MultiChoice v1.1 15%
- AA-Symmetry 15%
- プライベートデータが45%まで拡大
室谷代表取締役まず押さえておきたいのは、これは「新しいモデル」の発表ではなく「新しい評価の発表」だということです。Artificial Analysisが、決定モデルというカテゴリのモデルを、文書の判断・抽出、ツール呼び出し、知識、幻覚、推論、不変性といった観点で横断的に測る複合インデックスとしてv2を出してきた、という整理ですね。
テキトー教師DotAI 認定講師講座でもよく言うんですが、評価軸が変わると「何を選ぶべきか」の答えも変わります。v2は6つの評価を組み合わせた複合インデックスで、内訳はAA-Paperclipが30%、EvalSafe-O*NET-AAが15%、When2Callが10%、AA-Omniscience-Decision v1.1が15%、HLE-MultiChoice v1.1が15%、AA-Symmetryが15%です。
合計100%になるように重みが設計されています。
合計100%になるように重みが設計されています。
室谷代表取締役ここで大事なのは、v1.0のときは4評価だけだったということ。v1.0は2026年10月13日公開で、AA-Omniscience-Decision、HLE-MultiChoice、When2Call、WildGuardTestの4つを各25%で組んでいた。
それがv2では6評価に増えて、しかもプライベートデータが45%まで拡大している。評価の厚みがかなり変わっています。
それがv2では6評価に増えて、しかもプライベートデータが45%まで拡大している。評価の厚みがかなり変わっています。
テキトー教師DotAI 認定講師しかもv1.0の時点で「決定モデルは過信（オーバーコンフィデンス）が課題」と指摘されていたんですよ。ほぼ全ての確信度帯で、実際の正答率がモデルの確信度を下回っていた。
だからv2で確信度のキャリブレーションを中心指標に据えたのは、自然な流れなんです。
だからv2で確信度のキャリブレーションを中心指標に据えたのは、自然な流れなんです。
室谷代表取締役決定モデルそのものの位置づけについては、Artificial Analysis Decision Indexとは？決定モデルを評価する新指標でも整理されているので、初めて触れる方はそちらを先に読むと理解が早いと思います。
Decision Scoreは何を測る？確信度のキャリブレーション評価の仕組み
まとめ
Decision Scoreの仕組みと評価例
- 各問題のスコア = 50 × (1 + c − (p − c)²)。pは選んだ答えへの確率、cは正解1/不正解0
- 正解なら50超・不正解なら50未満、確信度が高いほど振れ幅が大きい
- 評価全体は 50 × (1 + Accuracy − Brier score) に等しい
- 正解して自信満々は高得点、不正解で自信満々は大きく減点、自信がなければ50に近づく
- 全閾値での平均利得を測るため単一カットオフに依存しない
- AA-Paperclip例: 生の正解率はClef 36% > Celeris-1.1 Decision 24%だが、Decision Scoreでは並ぶ(Brierスコア Celeris 0.15 / Clef 0.27)
室谷代表取締役ここがv2の心臓部ですね。Decision Scoreは、正解かどうかと確信度の適切さの両方を評価する新しい主指標です。
各問題は0から100でスコアされ、正解なら50超、不正解なら50未満、そして選んだ答えへの確信度が高いほど、その振れ幅が大きくなる仕組みです。
各問題は0から100でスコアされ、正解なら50超、不正解なら50未満、そして選んだ答えへの確信度が高いほど、その振れ幅が大きくなる仕組みです。
テキトー教師DotAI 認定講師式で書くとこうです。整理するとこうです。
- 各問題のスコア = 50 × (1 + c − (p − c)²)
- p はモデルが選んだ答えに付けた確率
- c は正解なら1、不正解なら0
- 評価全体では 50 × (1 + Accuracy − Brier score) に等しい
テキトー教師DotAI 認定講師つまり、正解して自信満々なら高得点、不正解なのに自信満々だと大きく減点される。逆に自信がなければ、正解でも不正解でも50に近づく。
これが「キャリブレーション（較正）」を測る設計なんですね。
これが「キャリブレーション（較正）」を測る設計なんですね。
室谷代表取締役実務の感覚にすごく合っているんですよ。決定モデルの答えって、確信度が閾値を超えたら自動処理、超えなければ人や上位モデルに回す、という運用になりますよね。
だから「ある1つの閾値」を決め打ちすると評価が歪む。Decision Scoreは全閾値での平均利得を測るので、単一のカットオフに依存しない。
ここはよく考えられているなと。
だから「ある1つの閾値」を決め打ちすると評価が歪む。Decision Scoreは全閾値での平均利得を測るので、単一のカットオフに依存しない。
ここはよく考えられているなと。
テキトー教師DotAI 認定講師実際にランキングが変わった例も出ています。AA-Paperclipの生の正解率だと、Clefが36%の文書を通し、Celeris-1.1 Decisionは24%しか通さない。
でもDecision ScoreではCeleris-1.1 DecisionがClefに並ぶ。理由はキャリブレーションで、BrierスコアがCeleris-1.1 Decisionは0.15、Clefは0.27なんです。
でもDecision ScoreではCeleris-1.1 DecisionがClefに並ぶ。理由はキャリブレーションで、BrierスコアがCeleris-1.1 Decisionは0.15、Clefは0.27なんです。
室谷代表取締役正解率だけ見ていたら「Clefの方が上」で終わっていたものが、確信度を入れると並ぶ。これはモデル選定の現場でかなり効いてくる変化です。
v1.0から何が変わった？AA-Paperclip・AA-Symmetry追加など主な変更点
v1.0からの主な変更点（重みと扱い）
| 項目 | v1.0の重み | v1.1の重み | 変更内容 |
|---|---|---|---|
| Decision Score | × | 新主指標 | 正解と確信度の両方を評価 |
| AA-Paperclip | × | 30% | 1,500文書の非公開ベンチマークを新設 |
| AA-Symmetry | × | 15% | 120問・計440バリエーションで一貫性を測定 |
| EvalSafe-O*NET-AA | × | 15% | TypeSafeのO*NET実装を新規追加 |
| AA-Omniscience-Decision v1.1 | 25% | 15% | 「わからない」の言い回しを10通りに変化 |
| HLE-MultiChoice v1.1 | 25% | 15% | 「わからない」の言い回しを10通りに変化 |
| When2Call（NVIDIA） | 25% | 10% | 重みを減 |
| WildGuardTest | あり | 削除 | 飽和したため削除 |
室谷代表取締役変更点を整理すると、新指標のDecision Scoreに加えて、新ベンチマークが2つ入り、既存の重みが組み替えられ、飽和した評価が外れた、という3層の変化です。
テキトー教師DotAI 認定講師箇条書きで整理するとこうです。
- Decision Score：正解と確信度の両方を評価する新主指標
- AA-Paperclip（30%）：履歴書・領収書・請求書・AI/ML論文など1,500文書の非公開ベンチマークを新設
- AA-Symmetry（15%）：選択肢の並べ替え・ラベル入れ替え・否定形などで表現を変えた120問（計440バリエーション）で判断の一貫性を測る
- EvalSafe-ONET-AA（15%）：TypeSafeのONETベンチマーク実装を新規追加
- AA-Omniscience-Decision v1.1とHLE-MultiChoice v1.1：各25%から15%に減。「わからない」の言い回しを10通りに変化
- When2Call（NVIDIA）：25%から10%に減
- WildGuardTest：飽和したため削除
室谷代表取締役AA-Paperclipは各文書に5つの判断と10の事実抽出があって、計15問すべて正解して初めて「その文書を合格」と数える。かなり厳しい設計ですよね。
1問でも外したらアウトというのは、実務の「書類処理を通しで任せられるか」に近い。
1問でも外したらアウトというのは、実務の「書類処理を通しで任せられるか」に近い。
テキトー教師DotAI 認定講師その厳しさがモデル間の差を炙り出すんですよ。Drex Max v1.1は答えの97%を正解していて、Claude Haiku 5.5 (Max)の99%とほぼ同じ。
でも文書の合格率は63%対92%で大きく開く。決定モデルは抽出よりも「判断」のところで文書を落としていて、Drex Max v1.1は5つの判断すべてを正解できた文書が71%、10の抽出すべてを正解できた文書が88%なんです。
でも文書の合格率は63%対92%で大きく開く。決定モデルは抽出よりも「判断」のところで文書を落としていて、Drex Max v1.1は5つの判断すべてを正解できた文書が71%、10の抽出すべてを正解できた文書が88%なんです。
室谷代表取締役なるほど、判断の方が難しいと。これは業務設計に直結する話ですね。
抽出だけ任せて判断は人に残す、みたいな分け方が見えてくる。
抽出だけ任せて判断は人に残す、みたいな分け方が見えてくる。
テキトー教師DotAI 認定講師AA-Symmetryも面白いです。同じ意味で言い回しを変えた質問に対して、答えがブレないかを見る。
選択肢の順番を入れ替えたり、ラベルを swapped したり、yes/noを否定形にしたり。120の基本質問に対して計440バリエーションを用意しています。
選択肢の順番を入れ替えたり、ラベルを swapped したり、yes/noを否定形にしたり。120の基本質問に対して計440バリエーションを用意しています。
室谷代表取締役これ、現場で一番怖いやつですよ。同じことを聞いているのに言い方を変えると答えが変わるモデルは、業務に組み込んだときに再現性が担保できない。
Base Labsのモデル群がここをリードしていて、Mammoth 27Bが96、Elephant 9Bが93。Mammoth 27Bはバリエーション間で99%同じ答えを選ぶんですが、Drex Max v1.1は91%、GLiDE v1.2は88%、Clefは67%なんです。
Base Labsのモデル群がここをリードしていて、Mammoth 27Bが96、Elephant 9Bが93。Mammoth 27Bはバリエーション間で99%同じ答えを選ぶんですが、Drex Max v1.1は91%、GLiDE v1.2は88%、Clefは67%なんです。
テキトー教師DotAI 認定講師Base Labsのモデルは「わからない」と高確信で言う傾向が強く、それが一貫性スコアを押し上げている面もあります。何でも答えるのではなく、答えない判断を安定してできるか。
これも実務では重要な能力です。
これも実務では重要な能力です。
Decision Index v2のランキング結果――Drex Max v1.1とGLiDE v1.2が首位争い
室谷代表取締役結果を見ていきましょう。首位争いは1点差に3モデルがひしめく形です。
Drex Max v1.1（Nace AI）が73でわずかにリード、GLiDE v1.2（Fastino Labs）が73で並び、Mammoth 27B（Base Labs）が72で続く。1点差なので、実質的に横並びと見た方がいいですね。
Drex Max v1.1（Nace AI）が73でわずかにリード、GLiDE v1.2（Fastino Labs）が73で並び、Mammoth 27B（Base Labs）が72で続く。1点差なので、実質的に横並びと見た方がいいですね。
テキトー教師DotAI 認定講師興味深いのは、精度指標ではGLiDE v1.2がDrex Max v1.1を上回っていることです。精度は60対58。
でもDecision IndexではDrex Max v1.1がわずかに前に出る。これはキャリブレーションの差が効いているということですね。
でもDecision IndexではDrex Max v1.1がわずかに前に出る。これはキャリブレーションの差が効いているということですね。
室谷代表取締役つまり「たくさん当てるモデル」と「自信の付け方が上手いモデル」は別物で、v2は後者を評価するように舵を切った。これは決定モデルの使い方——確信度で自動処理と人へのエスカレーションを分ける——に直結する設計です。
テキトー教師DotAI 認定講師講座の受講生さんでも「精度が高いモデルを選べばいいんですよね」と考える方が多いんですが、実際の運用では「どこまで自動で通していいか」を確信度で線引きしますから、キャリブレーションの良さはそのままコストとリスクに効いてきます。
室谷代表取締役ちなみに言語モデルも比較対象に入っていて、Claude Haiku 5.5 (Max)が77、GPT-6 Luna (Max)が76で、決定モデル首位のDrex Max v1.1を約3点上回ります。ただしコストと時間の差がすごい。
ここは次のセクションで掘りましょう。
ここは次のセクションで掘りましょう。
コストとスピードの現実――1Mタスクあたり最大60倍差、言語モデルは15倍コスト・40倍遅い
室谷代表取締役コストの話、これが実務では一番刺さるかもしれません。100万タスクあたりのコストは、決定モデルの中で$14（Celeris-1.1 Decision）から$859（Clef）まで、60倍以上開くんですよ。
テキトー教師DotAI 認定講師しかも面白いのは、トークン単価だけではコストが決まらないことです。Drex Max v1.1やDecider v1.2は、文書の入力を全質問で1回だけ課金する。
一方でGLiDE v1.2やDecider Flash v1.2は、質問ごとに入力を課金する。だからGLiDE v1.2はトークン単価が33%高いだけなのに、実コストは$780でDrex Max v1.1の約8倍になるんです。
一方でGLiDE v1.2やDecider Flash v1.2は、質問ごとに入力を課金する。だからGLiDE v1.2はトークン単価が33%高いだけなのに、実コストは$780でDrex Max v1.1の約8倍になるんです。
室谷代表取締役AA-Paperclipのタスクで言うと、GLiDE v1.2は約63k入力トークン、Drex Max v1.1は約9k。同じ「1タスク」でも中身の消費が全然違う。
これは見積もりを誤ると痛いやつですね。Decider Flash v1.2も$196で、トークン単価が半分なのにDecider v1.2の約3倍になっています。
これは見積もりを誤ると痛いやつですね。Decider Flash v1.2も$196で、トークン単価が半分なのにDecider v1.2の約3倍になっています。
テキトー教師DotAI 認定講師スピードも同様です。Celeris-1.1 Decisionが1タスク56ミリ秒で最速、Elephant 9Bが70ミリ秒、Jev 1.14が92ミリ秒。
対してClaude Haiku 5.5 (Max)は32.65秒かかります。Mammoth 27BはDecision IndexでGPT-6 Luna (Max)と4点差なのに、118倍速いんです。
対してClaude Haiku 5.5 (Max)は32.65秒かかります。Mammoth 27BはDecision IndexでGPT-6 Luna (Max)と4点差なのに、118倍速いんです。
室谷代表取締役言語モデルとの比較で言うと、GPT-6 Luna (Max)は100万タスクあたり$1,530でDrex Max v1.1の$102に対して15倍、1タスク11.34秒でDrex Max v1.1の275ミリ秒に対して約40倍遅い。Claude Haiku 5.5 (Max)に至っては$6,240ですからね。
3点上回るために15倍のコストと40倍の時間を払うか、という話になる。
3点上回るために15倍のコストと40倍の時間を払うか、という話になる。
テキトー教師DotAI 認定講師ここは用途次第ですよね。大量の問い合わせをさばくなら決定モデル、難しい判断や長い推論が必要な場面だけ言語モデルに回す。
まさにルーティング設計の話です。
まさにルーティング設計の話です。
自社ユースケースでどう選ぶ？決定モデルと言語モデルの使い分け
室谷代表取締役じゃあ実際にどう選ぶか。まず前提として、決定モデルは文章を生成せず、固定された選択肢から1つを選び、各選択肢に確率を付けて1回の呼び出しで返す。
だから安くて速く、キャリブレーションを測れる。ここを活かすのが基本線です。
だから安くて速く、キャリブレーションを測れる。ここを活かすのが基本線です。
テキトー教師DotAI 認定講師選定の観点を整理するとこうです。
- 判断の一貫性を重視するならAA-Symmetryのスコアを見る（Mammoth 27Bが96、Elephant 9Bが93）
- 書類処理の通し精度を見るならAA-Paperclipの文書合格率を見る（Drex Max v1.1が63%、GLiDE v1.2が62%、Decider v1.2が55%）
- コストを抑えるならDecision Index vs. Costのパレートフロンティアを見る（Celeris-1.1 Decision、Decider v1.2、Drex Max v1.1が該当）
- レイテンシ重視ならTime per Taskを見る（Celeris-1.1 Decisionが56ミリ秒）
- 確信度で自動処理を切るならキャリブレーション（Brierスコア）を見る
室谷代表取締役MYUUUでも問い合わせの振り分けみたいな処理はあるんですが、まさに「確信度が閾値を超えたら自動、超えなければ人」という設計にするはずなんですよ。そのときに効くのがDecision ScoreとBrierスコア。
精度だけ見て選ぶと、自信過剰なモデルを選んでしまって、自動処理の誤りが増えるリスクがある。
精度だけ見て選ぶと、自信過剰なモデルを選んでしまって、自動処理の誤りが増えるリスクがある。
テキトー教師DotAI 認定講師そこは講座でも強調しているところで、受講生さんがPoCをやるときも「精度」だけでなく「どこで人に回すか」をセットで設計するように伝えています。v2の指標はその設計にそのまま使える形になっていますね。
室谷代表取締役あと見落としがちなのが、コストの課金方式です。同じタスクでも入力の課金が1回か質問ごとかで8倍近く変わる。
ベンダーを選ぶときにトークン単価だけ見ていると、実際の請求で驚くことになります。
ベンダーを選ぶときにトークン単価だけ見ていると、実際の請求で驚くことになります。
テキトー教師DotAI 認定講師言語モデルとの使い分けで言えば、知識や推論が重い場面では言語モデルが上です。AA-Paperclipの文書合格率でもClaude Haiku 5.5 (Max)が92%、GPT-6 Luna (Max)が86%と決定モデルを大きく上回ります。
でもコストと時間は桁が違う。だから全部を言語モデルにするのではなく、決定モデルで大半をさばいて、難しいものだけエスカレーションする。
この二段構えが現実的ですね。
でもコストと時間は桁が違う。だから全部を言語モデルにするのではなく、決定モデルで大半をさばいて、難しいものだけエスカレーションする。
この二段構えが現実的ですね。
室谷代表取締役Artificial Analysisも「開発者や企業が、いつ、どう決定モデルを使うべきかを理解できるように、Decision Indexを開発し続ける」と述べています。評価軸が整備されていくほど、選定の判断材料が増えていく。
今回はその第一歩が大きく進んだ回だと思います。
今回はその第一歩が大きく進んだ回だと思います。
テキトー教師DotAI 認定講師関連する評価の話だと、Artificial Analysis Intelligence Index v5とは？9評価・非公開6割の新指標を解説やArtificial Analysis Capability Indexes v2.0とは？職種別6指数を更新、Claude Opus 5.5が全分野首位も合わせて読むと、Artificial Analysisの評価体系全体が見えてきますよ。
よくある質問
Q. Artificial Analysis Decision Index v2とは何ですか？
Artificial Analysisが公開した、決定モデル（decision model）を評価する複合ベンチマークの第2版です。文書の判断・抽出、ツール呼び出し、知識、幻覚、推論、不変性を6つの評価で測り、正解と確信度の両方を評価するDecision Scoreを主指標として採用しています。
Q. v1.0からの主な変更点は？
Decision Scoreの採用、非公開データ比率の25%から45%への拡大、AA-Paperclip（30%）とAA-Symmetry（15%）の新設、EvalSafe-O*NET-AA（15%）の追加です。AA-Omniscience-Decision v1.1とHLE-MultiChoice v1.1は各25%から15%に減り、When2Callは25%から10%に減、WildGuardTestは飽和のため削除されました。
Q. 決定モデルとは何ですか？
文章を生成するのではなく、与えられた選択肢の中から1つを選び、各選択肢に確率（確信度）を付けて1回の呼び出しで返すモデルです。高速・低コストで構造化された判断を下すことを目的としており、問い合わせの振り分けや緊急度判定などが想定されています。
Q. ランキングの首位はどのモデルですか？
Drex Max v1.1（Nace AI）とGLiDE v1.2（Fastino Labs）が73で並び、Mammoth 27B（Base Labs）が72で続きます。1点差に3モデルがひしめく形です。
Q. コストはどのくらい差がありますか？
100万タスクあたり$14（Celeris-1.1 Decision）から$859（Clef）まで、60倍以上開きます。トークン単価だけでなく課金方式も影響し、GLiDE v1.2はトークン単価が33%高いだけなのに実コストはDrex Max v1.1の約8倍（$780）になります。
Q. 言語モデルと比べてどうですか？
Decision Index v2ではClaude Haiku 5.5 (Max)が77、GPT-6 Luna (Max)が76で、決定モデル首位のDrex Max v1.1を約3点上回ります。一方でGPT-6 Luna (Max)は100万タスクあたり$1,530でDrex Max v1.1の15倍、1タスク11.34秒で約40倍遅いという結果です。
Q. AA-Paperclipとは何ですか？
履歴書・領収書・請求書・AI/ML論文など1,500文書の非公開ベンチマークです。各文書に5つの判断と10の事実抽出があり、計15問すべて正解して初めて合格と数えます。Drex Max v1.1は63%、GLiDE v1.2は62%、Decider v1.2は55%の文書合格率です。
Q. AA-Symmetryとは何ですか？
同じ意味で言い回しを変えた質問に対して、判断がブレないかを測る評価です。選択肢の並べ替え・ラベル入れ替え・否定形などで変えた120問（計440バリエーション）で、選んだ答えとその確率の一貫性を測ります。Mammoth 27Bが96、Elephant 9Bが93でリードしています。
