Artificial Analysis Intelligence Index v5（アーティフィシャル・アナリシス・インテリジェンス・インデックス・ブイファイブ）は、独立系評価機関のArtificial Analysisが2026年10月27日に発表した、言語モデルの総合能力を測る複合指標の最新版です。9つの評価を4カテゴリ各25%で加重平均し、初めてIndexの60%が非公開テストセットや秘匿解答に基づく構成になりました。
室谷代表取締役Artificial AnalysisがIntelligence Index v5を出しましたね。今回は「最大のアップグレード」という触れ込みで、評価の6割が非公開データセットに切り替わったんですよね。
モデル選びの実務に直結する話なので、じっくり見ていきたいと思います。
モデル選びの実務に直結する話なので、じっくり見ていきたいと思います。
テキトー教師DotAI 認定講師そうなんですよ。単に「スコアが更新されました」という話じゃなくて、評価の設計思想そのものが変わった回です。
受講生さんからも「どのベンチマークを見ればいいのか」とよく聞かれるので、今日はそこを整理したいですね。
受講生さんからも「どのベンチマークを見ればいいのか」とよく聞かれるので、今日はそこを整理したいですね。
Artificial Analysis Intelligence Index v5とは？何が発表されたのか
Artificial Analysis Intelligence Index v5の主なポイント
新ベンチマーク2件を追加
v5で新たに2件のベンチマークを追加
既存3件をアップグレード
既存のベンチマーク3件をアップグレード
過半が非公開・秘匿解答ベース
初めてIndexの過半（60%）が非公開テストセットまたは秘匿解答に基づく構成に
v4以来の大型アップデート
2026年1月のv4以来、発表元が「v4以来最大」と位置づける更新
Progress Index v1も新設
時系列で能力の推移を測る指標を併せて新設
室谷代表取締役まず前提として、Artificial Analysisは主要AIモデルの性能を独自評価で比較している独立系の分析機関で、Intelligence Indexはその中核指標です。複数のベンチマークを重み付けして合成した総合スコアで、モデル選定の参照点になっているやつですね。
テキトー教師DotAI 認定講師はい。今回のv5は2026年1月のv4以来の大型アップデートで、発表元が「v4以来最大」と位置づけています。
ポイントは3つで、新ベンチマーク2件の追加、既存3件のアップグレード、そして初めてIndexの過半（60%）が非公開テストセットまたは秘匿解答に基づく構成になったことです。
ポイントは3つで、新ベンチマーク2件の追加、既存3件のアップグレード、そして初めてIndexの過半（60%）が非公開テストセットまたは秘匿解答に基づく構成になったことです。
室谷代表取締役60%という数字が象徴的ですよね。公開問題はモデルが学習データに取り込んでしまう「汚染」のリスクがあって、スコアが実力を過大評価しかねない。
そこに対する回答が今回の構成変更なんですよ。
そこに対する回答が今回の構成変更なんですよ。
テキトー教師DotAI 認定講師併せて、時系列で能力の推移を測る「Artificial Analysis Progress Index v1」も新設されました。こちらは別の章で詳しくやりますが、Indexが「現在のフロンティアを測る道具」、Progress Indexが「時間軸で能力の変化を見る道具」という役割分担になっています。
室谷代表取締役うちのMYUUUでもモデル比較の参考にArtificial Analysisのデータはよく見るんですけど、バージョンが上がるたびに構成が変わるので「前のスコアと単純比較できない」という制約があったんですよね。今回その問題にも手が入っているのが面白いところです。
v5で追加された2つの新ベンチマーク「FrontierCode 2.0」「Terminal-Bench-Science」の中身
v5で追加された2つの新ベンチマーク
FrontierCode 2.0
- Cognitionが同日ローンチした非公開のコーディングベンチマーク
- 実在のオープンソースリポジトリ132課題で構成
- リポジトリの保守担当者がエージェントの変更をマージするかどうかで採点
- ブロッキングチェックが1つでも失敗すると0点
- 汚染を避けるため課題は非公開のまま維持
- Artificial Analysisが「Stirrup」で各課題を3回実行
- 首位: Claude Opus 5.5（max）46%
- GPT-6 Astra（max）・GPT-6.1 Terra（max）・Claude Sonnet 5.5（max）が42%で並ぶ
- オープンウェイト最高: DeepSeek V4.1 Flash 1017（max）28%（首位と18点差）
Terminal-Bench-Science
- エージェントがターミナル環境で科学研究のワークフローを遂行できるかを見るベンチマーク
- 専門家が各課題をキュレーションしてレビュー
- 課題のテストが全部通らないとパスにならない
- 首位: GPT-6 Astra（max）63%
- Claude Opus 5.5（max）59%、GPT-6.1 Sol（max）58%が続く
- オープンウェイト最高: Kimi K3.1 Pro（ウェイト未公開）34%
- Claude Haiku 5.5（max）20%
- ウェイト公開済み最高: DeepSeek V4.1 Flash 1017（max）13%
- オープンウェイトモデルの多くが10%未満
テキトー教師DotAI 認定講師新規追加は2つです。1つ目がFrontierCode 2.0で、Cognitionが同日ローンチした非公開のコーディングベンチマークです。
実在のオープンソースリポジトリ132課題で構成され、リポジトリの保守担当者がエージェントの変更をマージするかどうかで採点されます。
実在のオープンソースリポジトリ132課題で構成され、リポジトリの保守担当者がエージェントの変更をマージするかどうかで採点されます。
室谷代表取締役マージされるかどうか、という基準が実務的ですよね。テストが通るだけじゃなくて、保守する側の視点で受け入れられる変更かどうかを見ている。
ブロッキングチェックのどれか1つでも失敗すると0点で、汚染を避けるために課題は非公開のまま維持される。Artificial Analysisは自社のエージェントハーネス「Stirrup」で各課題を3回実行しています。
ブロッキングチェックのどれか1つでも失敗すると0点で、汚染を避けるために課題は非公開のまま維持される。Artificial Analysisは自社のエージェントハーネス「Stirrup」で各課題を3回実行しています。
テキトー教師DotAI 認定講師結果はClaude Opus 5.5（max）が46%で首位、GPT-6 Astra（max）、GPT-6.1 Terra（max）、Claude Sonnet 5.5（max）が42%で並びます。オープンウェイト勢の最高はDeepSeek V4.1 Flash 1017（max）の28%で、首位から18点差です。
室谷代表取締役2つ目のTerminal-Bench-Scienceは、エージェントがターミナル環境で科学研究のワークフローを遂行できるかを見るベンチマークですね。専門家が各課題をキュレーションしてレビューしていて、課題のテストが全部通らないとパスにならない。
テキトー教師DotAI 認定講師こちらはGPT-6 Astra（max）が63%で首位、Claude Opus 5.5（max）が59%、GPT-6.1 Sol（max）が58%と続きます。注目はその下の落ち方で、オープンウェイト最高のKimi K3.1 Pro（ウェイト未公開）が34%、Claude Haiku 5.5（max）が20%、ウェイト公開済みで最高のDeepSeek V4.1 Flash 1017（max）が13%です。
ベンチマークしたオープンウェイトモデルの多くが10%未満でした。
ベンチマークしたオープンウェイトモデルの多くが10%未満でした。
室谷代表取締役これはかなり差がつきましたね・・・。科学研究のワークフローをターミナルで回すというのは、単発の質問応答とは違って多段階の作業を最後までやり切る力が要る。
そこで差が出るのは、実務でエージェントを組んでいる身としては他人事じゃないです。
そこで差が出るのは、実務でエージェントを組んでいる身としては他人事じゃないです。
テキトー教師DotAI 認定講師科学研究系のエージェント活用という文脈では、Anthropicが科学研究専用アプリ『Claude Science』ベータ版を公開という動きもあります。ツール側の整備と、モデル側の能力測定が同時に進んでいる印象ですね。
アップグレードされたHLE-Diamond・AA-Omniscience v1.1・CritPt v2の変更点
アップグレードされた3つの既存評価
HLE-Diamond
- CAISとScale AIのHumanity's Last Examを精選した1,000問版
- 推論問題500問と知識問題500問に均等に分かれる
- IndexではHumanity's Last Examを置き換え
- 首位はClaude Opus 5.5（max）68%、GPT-6 Astra（max）64%、Claude Fable 5.1（max）60%
- 上位モデルは推論78%に対し知識58%・50%で知識が難しい
AA-Omniscience v1.1
- 知識とハルシネーションのベンチマークの洗浄版
- 飽和した問題と公開セットの問題を除去
- 新規問題を追加
- 曖昧または誤りのある問題を修正
- スコアはv1とほぼ整合、平均で2点低い（中央値0.6）
- Hugging Faceに公開サブセット「AA-Omniscience-Public-v1.1」を公開
テキトー教師DotAI 認定講師既存評価のアップグレードは3つです。まずHLE-Diamondは、CAISとScale AIのHumanity's Last Examを精選した1,000問版で、推論問題500問と知識問題500問に均等に分かれています。
IndexではHumanity's Last Examを置き換えます。
IndexではHumanity's Last Examを置き換えます。
室谷代表取締役結果はClaude Opus 5.5（max）が68%で首位、GPT-6 Astra（max）が64%、Claude Fable 5.1（max）が60%ですね。面白いのは内訳で、上位モデルにとって知識問題のほうが推論問題より難しいと。
Claude Opus 5.5（max）とGPT-6 Astra（max）はどちらも推論で78%なのに対して、知識は58%と50%なんですよ。
Claude Opus 5.5（max）とGPT-6 Astra（max）はどちらも推論で78%なのに対して、知識は58%と50%なんですよ。
テキトー教師DotAI 認定講師これは示唆的ですよね。推論の型は鍛えられても、知識の網羅性は別の話だということです。
次がAA-Omniscience v1.1で、知識とハルシネーションのベンチマークの洗浄版です。飽和した問題と公開セットの問題を除去し、新規問題を追加し、曖昧または誤りのある問題を修正しています。
次がAA-Omniscience v1.1で、知識とハルシネーションのベンチマークの洗浄版です。飽和した問題と公開セットの問題を除去し、新規問題を追加し、曖昧または誤りのある問題を修正しています。
室谷代表取締役スコアはv1とほぼ整合していて、平均で2点低くなる（中央値0.6）とのことです。あとHugging Faceに公開サブセット「AA-Omniscience-Public-v1.1」も出ていて、公開セットと非公開セットで精度・ハルシネーション率・全体性能が整合するように再調整されている。
これは再現性の観点でいい動きですよね。
これは再現性の観点でいい動きですよね。
テキトー教師DotAI 認定講師3つ目がCritPt v2で、Indexでは非公開の40問の難問サブセットで採点します。70問の研究レベルの物理問題から、ローンチ時に7つのフロンティアモデルが5回とも正解した30問を除いたものです。
モデルはStirrup内のオフラインPythonサンドボックスで作業します。
モデルはStirrup内のオフラインPythonサンドボックスで作業します。
室谷代表取締役結果はGPT-6 Astraがhighエフォートで72%首位、GPT-6.1 Solがmaxエフォートで69%、Index総合首位のClaude Opus 5.5（max）が61%です。オープンウェイト最高はKimi K3.1 Pro（ウェイト未公開）の45%。
ここでも総合首位と単科首位が入れ替わるのが面白いところです。
ここでも総合首位と単科首位が入れ替わるのが面白いところです。
v5のスコア構成――9評価・4カテゴリ各25%の重み付けとプライベートデータセット過半の意味
室谷代表取締役ここで一度、構成を整理しておきたいですね。v5は9つの評価でできていて、4カテゴリがそれぞれ25%ずつ。
カテゴリ内の配分がどうなっているか、テーブルで見ましょう。
カテゴリ内の配分がどうなっているか、テーブルで見ましょう。
テキトー教師DotAI 認定講師整理するとこうです。
| カテゴリ（25%ずつ） | 評価 | 重み | 非公開 |
|---|---|---|---|
| Knowledge Work | AA-Briefcase v1.1 | 15% | ✓ |
| Knowledge Work | AutomationBench-AA | 5% | ✓ |
| Knowledge Work | GDP.pdf | 5% | ✗ |
| Coding | FrontierCode 2.0 | 15% | ✓ |
| Coding | Terminal-Bench 4.0 | 10% | ✗ |
| Science | Terminal-Bench-Science 0.1 | 15% | ✗ |
| Science | CritPt v2（Hard Subset） | 10% | ✓ |
| General | AA-Omniscience v1.1 | 15%（精度10%・非ハルシネーション5%） | ✓ |
| General | HLE-Diamond | 10% | ✗ |
室谷代表取締役なるほど、非公開マークが付いているもので重みを足すと、AA-Briefcase 15、AutomationBench-AA 5、FrontierCode 2.0 15、CritPt v2 10、AA-Omniscience v1.1 15で合計60%。これが「過半が非公開」の実態なんですね。
テキトー教師DotAI 認定講師そういうことです。ちなみにIndexから外れたのはGDPval-AA v2.1、SciCode、AA-LCR v1.1の3つ。
残ったのはAA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0です。評価はモデルが伸びると追加され、首位を差別化しなくなったものが引退する。
だからバージョン間のスコアは長期比較に向かない、というのがArtificial Analysis自身の説明です。
残ったのはAA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0です。評価はモデルが伸びると追加され、首位を差別化しなくなったものが引退する。
だからバージョン間のスコアは長期比較に向かない、というのがArtificial Analysis自身の説明です。
室谷代表取締役その制約を補うためにProgress Index v1があるわけですね。あと地味に重要なのが、v5の課題はモデルへの要求作業量が増えている点で、タスク当たりの出力トークン中央値がv4.3の35kから59kへ3分の2増えている。
エージェント型評価がIndexの重みの55%を占める一方で、出力トークンの中央値88%を占めているんですよ。
エージェント型評価がIndexの重みの55%を占める一方で、出力トークンの中央値88%を占めているんですよ。
テキトー教師DotAI 認定講師Terminal-Bench-Scienceだけでタスク当たり出力トークンの約3分の1を占めるというのも大きいですね。評価の重みと計算コストが比例していないところが、コストを見るときのポイントになります。
最新ランキング：Claude Opus 5.5首位、オープンウェイトとの差はなぜ12点に広がったか
室谷代表取締役ランキングを見ましょう。Claude Opus 5.5（max）が58で首位、GPT-6 Astra（max）が57、GPT-6.1 Sol（max）が55で続いて、上位5位をAnthropicとOpenAIが占めています。
次がGemini 4 Argon（high）の50ですね。
次がGemini 4 Argon（high）の50ですね。
テキトー教師DotAI 認定講師そして今回の大きなトピックが、オープンウェイトとの差がv4.3の3点から12点に広がったことです。オープンウェイト首位のKimi K3.1 Pro（ウェイト未公開）が46で12点差。
ウェイト公開済みで見るとDeepSeek V4.1 Flash 1017（max）とGLM-5.3（max）が32で、首位から26点差、Claude Haiku 5.5（max、36）すら下回ります。
ウェイト公開済みで見るとDeepSeek V4.1 Flash 1017（max）とGLM-5.3（max）が32で、首位から26点差、Claude Haiku 5.5（max、36）すら下回ります。
室谷代表取締役差が最も広いのがHLE-DiamondとTerminal-Bench-Scienceで、Kimi K3.1 Proが37%と34%なのに対して、Claude Opus 5.5（max）は68%、GPT-6 Astra（max）は63%ですからね。知識の網羅性と、科学研究のエージェント作業という、まさに今回新しく入れたり作り直したりした評価で差が開いている。
テキトー教師DotAI 認定講師単に「オープンウェイトが弱い」という話じゃなくて、v5で測っている対象が変わったことで差が見えるようになった、という側面が大きいんですよ。v4.3では3点差だったのが実力差そのものだったのか、測り方の問題だったのかは、現時点では明らかにされていません。
室谷代表取締役あと9つの評価で「全部を単独のモデルが制しているわけではない」というのも重要なポイントです。Claude Opus 5.5が3つ（FrontierCode 2.0、HLE-Diamond、AA-Omniscience v1.1）で首位なのに対して、残り6つは別のモデルが首位なんですよね。
GPT-6 AstraがTerminal-Bench-ScienceとCritPt v2、Claude Sonnet 5.5がAA-Briefcase（1812 Elo）、Kimi K3.1 ProがTerminal-Bench 4.0（67%）、Gemini 4 ArgonがAutomationBench-AA（78%）、Muse Wonder FullがGDP.pdf（33% all-pass）です。
GPT-6 AstraがTerminal-Bench-ScienceとCritPt v2、Claude Sonnet 5.5がAA-Briefcase（1812 Elo）、Kimi K3.1 ProがTerminal-Bench 4.0（67%）、Gemini 4 ArgonがAutomationBench-AA（78%）、Muse Wonder FullがGDP.pdf（33% all-pass）です。
テキトー教師DotAI 認定講師用途別に最適なモデルが違うという当たり前の事実を、データで示してくれているわけですね。コーディングのFrontierCodeで見ればFrontierCode 1.1とは？首位Claude Opus 5.5でも52%のマージ可能性ベンチという記事でも整理していますが、バージョンが2.0になって課題構成も変わっています。
タスク当たりコスト13倍時代のモデル選び――スコアと価格・エフォート設定の読み方
室谷代表取締役ここが実務で一番効くところです。上位10モデルの中でタスク当たりコストが13倍以上開いていて、最安はGPT-6.1 Terra（max）の$0.96、最高はClaude Fable 5.1（max）の$13.04です。
テキトー教師DotAI 認定講師個別に見ると、Claude Opus 5.5（max）が$10.04、GPT-6 Astra（max）が$6.24、GPT-6.1 Sol（max）が$1.27です。GPT-6.1 Sol（max）は首位のClaude Opus 5.5（max）から4点以内のスコアを、タスク当たり約8分の1のコストで出していることになります。
室谷代表取締役これはモデル選びの判断を変えますよね。総合スコア1位をそのまま採用するんじゃなくて、自分のタスクで必要な精度とコストのバランスで選ぶ。
MYUUUでも、全部を最高スコアのモデルにするんじゃなくて、工程ごとに使い分ける設計にしています。
MYUUUでも、全部を最高スコアのモデルにするんじゃなくて、工程ごとに使い分ける設計にしています。
テキトー教師DotAI 認定講師もう1つ見落とせないのがエフォート設定の影響です。v5ではv4.3よりエフォート設定の差が大きく出ていて、Claude Opus 5.5はlowエフォートで35、maxで58。
コストはタスク当たり$0.98と$10.04で10倍です。Claude Sonnet 5.5はlowからmaxで29点の幅があり、v4.3の20点から拡大。
GPT-6.1 Solも幅が10点から20点に倍増しています。
コストはタスク当たり$0.98と$10.04で10倍です。Claude Sonnet 5.5はlowからmaxで29点の幅があり、v4.3の20点から拡大。
GPT-6.1 Solも幅が10点から20点に倍増しています。
室谷代表取締役同じモデル名でもエフォート設定でスコアが倍近く変わるなら、ベンチマークを見るときに「どのエフォートの数字か」を確認しないと意味を取り違えますよね。Artificial Analysisの表記も(max)とか(high)とか付いていますから、そこは注意して読みたいです。
テキトー教師DotAI 認定講師講座でも受講生さんに「モデル名だけで比較しないでください」と伝えているんですが、まさにそれが数字で裏付けられた形です。コストの内訳もトークン種別で分かれていて、推論トークンが増えれば当然コストも増えます。
エージェント型評価が出力トークンの大半を占めるという話と合わせて読むと、エージェント用途のコスト見積もりは慎重にやるべきだということが分かります。
エージェント型評価が出力トークンの大半を占めるという話と合わせて読むと、エージェント用途のコスト見積もりは慎重にやるべきだということが分かります。
室谷代表取締役ちなみにClaude Opus 5.5をAWSで使う話はAWS、Claude Opus 5.5をBedrockで提供開始で整理していますし、どのバージョンが使えるかはAntigravityでClaude Opusはどれが使える？5.5と4.6の違いと制限を整理も参考になります。
新指標「Artificial Analysis Progress Index v1」とは？時系列で能力を比べる使い方
テキトー教師DotAI 認定講師最後にProgress Index v1です。これは2022年11月以降にリリースされた言語モデルを、幅広いベンチマークにまたがる1つの能力スケール上に置く指標です。
項目応答理論（IRT）を使って、モデルの能力と課題の難易度を同時に推定する仕組みになっています。
項目応答理論（IRT）を使って、モデルの能力と課題の難易度を同時に推定する仕組みになっています。
室谷代表取締役要するに、モデルごとに受けたテストが違っても、共通して受けた課題を介して能力を比較できるようにした、と。数年離れたモデル同士でも能力の変化を比べられるわけですね。
テキトー教師DotAI 認定講師はい。仕組みとしては、各モデルに能力θ、各項目に難易度dと識別力aを置いて、期待スコアがロジスティック曲線に従うと仮定し、全結果をまとめて1回のフィットで推定します。
スケールはo3-mini（high）が220、GPT-5.5（xhigh）が320になるようにアンカーを取っています。
スケールはo3-mini（high）が220、GPT-5.5（xhigh）が320になるようにアンカーを取っています。
室谷代表取締役入力データの扱いも決まっていて、公開ベンチマークの利用可能な結果を使い、タスク単位のデータがあればそれを使い、なければベンチマークの集計スコアを使う。当て推量でスコアが取れる場合は推測を0として再スケールするので、GPQA Diamondの25%は0扱いになる。
ベンチマークは少なくとも4モデルの結果があり、モデルは少なくとも4ベンチマークの結果がないとフィットに含まれない、という条件付きです。
ベンチマークは少なくとも4モデルの結果があり、モデルは少なくとも4ベンチマークの結果がないとフィットに含まれない、という条件付きです。
テキトー教師DotAI 認定講師使い分けの指針も明確です。現在のユースケースでモデルを比べたい、今のフロンティアを知りたいならIntelligence Index。
時間軸で能力がどう変わったかを見たいならProgress Index。Artificial Analysis自身がそう説明しています。
設計にあたってはEpoch AIのEpoch Capabilities IndexとAnthropicの手法から学んだと明記されています。
時間軸で能力がどう変わったかを見たいならProgress Index。Artificial Analysis自身がそう説明しています。
設計にあたってはEpoch AIのEpoch Capabilities IndexとAnthropicの手法から学んだと明記されています。
室谷代表取締役Indexの構成がバージョンごとに変わる問題を、IRTで横断的に接続して解決するというアプローチですね。評価指標の「ものさし」自体が進化している。
これはモデルを選ぶ側にとっても、指標をどう読むかをアップデートし続ける必要があるということです。
これはモデルを選ぶ側にとっても、指標をどう読むかをアップデートし続ける必要があるということです。
よくある質問
Q. Intelligence Index v5はv4.3とどう違うのですか？
テキトー教師DotAI 認定講師新ベンチマーク2件（FrontierCode 2.0、Terminal-Bench-Science 0.1）の追加、3件（HLE-Diamond、AA-Omniscience v1.1、CritPt v2 Hard Subset）のアップグレード、GDPval-AA v2.1・SciCode・AA-LCR v1.1の削除が主な差分です。そして初めてIndexの60%が非公開テストセットまたは秘匿解答に基づく構成になりました。
Q. 9つの評価と重み付けはどうなっていますか？
室谷代表取締役Knowledge Work 25%（AA-Briefcase v1.1が15%、AutomationBench-AAが5%、GDP.pdfが5%）、Coding 25%（FrontierCode 2.0が15%、Terminal-Bench 4.0が10%）、Science 25%（Terminal-Bench-Science 0.1が15%、CritPt v2 Hard Subsetが10%）、General 25%（AA-Omniscience v1.1が15%＝精度10%＋非ハルシネーション5%、HLE-Diamondが10%）です。
Q. プライベートデータセットが過半を占めると何が変わるのですか？
テキトー教師DotAI 認定講師公開問題はモデルが学習データに取り込んでしまい、実力以上にスコアが出る汚染リスクがあります。非公開にすることでそのリスクを下げ、再現性を高める狙いがあります。
FrontierCode 2.0は課題を非公開に保つと明記され、AA-Omniscience v1.1も公開セットと非公開セットの整合性を再調整した公開サブセットを別途出しています。
FrontierCode 2.0は課題を非公開に保つと明記され、AA-Omniscience v1.1も公開セットと非公開セットの整合性を再調整した公開サブセットを別途出しています。
Q. オープンウェイトモデルはどれくらい差があるのですか？
室谷代表取締役v5では首位Claude Opus 5.5（max）の58に対して、オープンウェイト首位のKimi K3.1 Pro（ウェイト未公開）が46で12点差です。ウェイト公開済みではDeepSeek V4.1 Flash 1017（max）とGLM-5.3（max）が32で、首位から26点差になります。
v4.3では3点差だったので拡大しています。
v4.3では3点差だったので拡大しています。
Q. モデル選定の判断材料として使えますか？
テキトー教師DotAI 認定講師総合スコアだけで決めるのではなく、タスク当たりコストとエフォート設定をセットで見るのが実務的です。上位10モデルでもコストは13倍以上開き、同じモデルでもエフォート設定でスコアとコストが大きく変わります。
用途別の首位も分かれているので、自分のユースケースに近い評価を確認するのがよいですね。
用途別の首位も分かれているので、自分のユースケースに近い評価を確認するのがよいですね。
Q. Progress Index v1はどう使えばいいですか？
室谷代表取締役数年離れたモデル間の能力変化を比べたいときに使います。現在のユースケースでモデルを比べるならIntelligence Indexが推奨で、Artificial Analysisもそう明記しています。
両者は役割が違うので、目的に応じて使い分けるのが基本です。
両者は役割が違うので、目的に応じて使い分けるのが基本です。
