室谷代表取締役Artificial AnalysisがAPIパフォーマンスベンチマークの次期版を発表したんですよね。バージョンはv3.0.0で、2026年10月30日付。
最大のポイントは、主指標を「トークン/秒」から「Time per Task」に切り替えたことです。
最大のポイントは、主指標を「トークン/秒」から「Time per Task」に切り替えたことです。
テキトー教師DotAI 認定講師単に指標がひとつ増えた話じゃないんですよ。モデル選びの物差しそのものが変わる発表です。
これまで開発者は「どのモデルが速くストリーミングするか」を見てきましたが、これからは「タスクが何分で終わるか」を見る時代になる。講座でも受講生さんから『速度の数字は速いのに、実際の作業は遅い気がする』という声をよく聞いていたので、現場感覚に合った変更だと思います。
これまで開発者は「どのモデルが速くストリーミングするか」を見てきましたが、これからは「タスクが何分で終わるか」を見る時代になる。講座でも受講生さんから『速度の数字は速いのに、実際の作業は遅い気がする』という声をよく聞いていたので、現場感覚に合った変更だと思います。
室谷代表取締役まさにそこですよね。Artificial Analysisは約1,000のサーバーレスAPIエンドポイントを1日複数回計測していて、その体制は維持される。
でも見せ方がガラッと変わる。まず何が発表されたかを整理しましょうか。
でも見せ方がガラッと変わる。まず何が発表されたかを整理しましょうか。
Artificial Analysis APIパフォーマンスベンチマークの変更点とは？
Artificial Analysis APIパフォーマンスベンチマーク v3.0.0 の主な変更点
項目
- 主指標
- 速度の定義
- トークン数
- ワークロード
- エフォート
- 失敗リクエスト
- 計測頻度
v3.0.0での内容
- Time per Task（タスクあたり所要時間）をヘッドラインに
- End-to-End Output Speed（リクエスト送信から最終トークンまで）
- 各プロバイダーのAPI報告値を使用
- ショート・文書長・長文コンテキストに加え、マルチターンのエージェント型セッションを全計測に組み込み
- 各ラボのAPIデフォルト設定と最高設定の両方を計測
- 速度0として扱い、エンドポイントのエラー率を表示
- 6時間ごと
テキトー教師DotAI 認定講師まずArtificial Analysisが何者かから確認しておきます。公式サイトでは『独立系AIベンチマーク企業』と位置づけられていて、モデルや推論APIエンドポイントのインテリジェンス・品質・パフォーマンス・価格を計測しています。
今回のv3.0.0は、そのうちAPIパフォーマンス計測の新版です。
今回のv3.0.0は、そのうちAPIパフォーマンス計測の新版です。
室谷代表取締役変更点を並べると、主指標の交代、計測範囲の拡大、エージェント型ワークロードの常時組み込み、APIデフォルト設定の追跡、エラー率の表示。この5つが柱なんですよね。
MYUUUでも複数のAPIを並べて使うことが増えたので、この変更はかなり実務に効きます。
MYUUUでも複数のAPIを並べて使うことが増えたので、この変更はかなり実務に効きます。
テキトー教師DotAI 認定講師整理するとこうです。
- 主指標：Time per Task（タスクあたり所要時間）をヘッドラインに
- 速度の定義：End-to-End Output Speed（リクエスト送信から最終トークンまで）
- トークン数：各プロバイダーのAPI報告値を使用（従来はo200k_baseトークナイザ）
- ワークロード：ショート・文書長・長文コンテキストに加え、マルチターンのエージェント型セッションを全計測に組み込み
- エフォート：各ラボのAPIデフォルト設定と最高設定の両方を計測
- 失敗リクエスト：速度0として扱い、エンドポイントのエラー率を表示
- 計測頻度：6時間ごと（従来は3時間ごと）
室谷代表取締役計測頻度が3時間ごとから6時間ごとに変わっているのも見逃せない。回数は減ったけど、そのぶんワークロードの種類が増えて、5日間の平均を出す設計になっている。
単発の速さ自慢より、安定した実力を見る方向に振れているわけです。
単発の速さ自慢より、安定した実力を見る方向に振れているわけです。
Time per Taskとは？タスク完了時間が新しい主役指標になった理由
Time per Taskの算出方法
- 01タスクあたりの出力トークン数を取得回答と推論の合計トークン数
- 02End-to-End Output Speedで割るタスクあたりトークン数 ÷ 出力速度＝1タスク完了までの推定時間
- 03Intelligence Indexと同じ重みで加重平均指標全体として集約する
室谷代表取締役Time per Taskは、Artificial AnalysisのIntelligence Indexの1タスクを完了するまでの推定時間です。算出はシンプルで、タスクあたりの出力トークン数（回答と推論の合計）をEnd-to-End Output Speedで割る。
それをIntelligence Indexと同じ重みで加重平均する、という仕組みなんですよね。
それをIntelligence Indexと同じ重みで加重平均する、という仕組みなんですよね。
テキトー教師DotAI 認定講師ここが今回の一番おいしいところで。トークンあたりの速度が速くても、出力が冗長なモデルはタスク完了に時間がかかるんですよ。
逆に、1トークンあたりは遅くても、使うトークンが少ないモデルは早く終わる。単に『速い／遅い』じゃない話なんです。
逆に、1トークンあたりは遅くても、使うトークンが少ないモデルは早く終わる。単に『速い／遅い』じゃない話なんです。
室谷代表取締役公式の説明でも、ワークロードがエージェント化するにつれて『1秒あたり何トークン』より『タスクが何分で終わるか』のほうが重要になったと書かれています。これは現場の感覚と完全に一致しますよね。
エージェントに仕事を投げて、待ち時間で別の作業をする。だとすれば知りたいのはストリーミングの滑らかさじゃなくて、完了までの総時間ですから。
エージェントに仕事を投げて、待ち時間で別の作業をする。だとすれば知りたいのはストリーミングの滑らかさじゃなくて、完了までの総時間ですから。
テキトー教師DotAI 認定講師しかもTime per Taskは評価を実際に走らせて計測しているのではなく、トークン数と速度から導出している。公式の方法論ページにも『評価実行のタイミングではなくトークンと速度から導出するので、代表的なAPI速度を反映する』と明記されています。
だから更新頻度を上げやすいわけです。
だから更新頻度を上げやすいわけです。
室谷代表取締役この指標の面白さは、モデルの『おしゃべり度』がそのまま時間に効いてくることです。同じ正解を出すのでも、5万トークンで答えるモデルと12万トークンで答えるモデルでは、後者のほうが単純に2倍以上かかる。
品質が同じなら、無駄口を叩かないモデルのほうが優秀、という評価軸が可視化されたわけです。
品質が同じなら、無駄口を叩かないモデルのほうが優秀、という評価軸が可視化されたわけです。
End-to-End Output Speedとは？初回トークン待ちまで含めた速度の計測方法
End-to-End Output Speed：旧版との違い
旧版
- 10k入力トークンのプロンプトで計測
- 出力速度を過去72時間の中央値で評価
- トークン数はtiktokenのo200k_baseでカウント
新版（End-to-End）
- リクエスト送信から最終トークン受信までの全時間で計測
- 初回トークン待ち（prefill・隠れた推論）も速度に含む
- 回答トークン＋推論トークンの合計を所要時間で割る
- マルチターンではターン間のツール実行時間を除外
- トークン数は各プロバイダーAPIの報告値を使用
テキトー教師DotAI 認定講師End-to-End Output Speedは、リクエストを送ってから最終トークンを受け取るまでの全時間で測る速度です。初回トークンまでの待ち、つまりprefillや、隠れた推論の時間も含みます。
ここが旧版との決定的な違いなんですよ。
ここが旧版との決定的な違いなんですよ。
室谷代表取締役旧版は10k入力トークンのプロンプトにおける出力速度を過去72時間の中央値で見ていた。でも今回からは、リクエスト全体の所要時間で割る。
つまり『最初の一言が出るまでの沈黙』も速度にカウントされる。これ、開発者としてはかなり納得感があります。
つまり『最初の一言が出るまでの沈黙』も速度にカウントされる。これ、開発者としてはかなり納得感があります。
テキトー教師DotAI 認定講師公式の定義では、Output Speedは回答トークンと推論トークンの合計を、リクエスト送信から最終トークンチャンク受信までの時間で割ったもの。マルチターンのセッションでは、ターン間のツール実行時間は除外される。
そこは公平に見ているわけですね。
そこは公平に見ているわけですね。
室谷代表取締役あと地味に大きいのがトークンカウントの変更です。従来はtiktokenのo200k_baseで数えていたのを、各プロバイダーのAPIが報告する値に変えた。
プロバイダーごとにトークナイザーが違うんだから、当然といえば当然なんですけど、これを揃えたことで比較の公平性が上がったんですよね。
プロバイダーごとにトークナイザーが違うんだから、当然といえば当然なんですけど、これを揃えたことで比較の公平性が上がったんですよね。
テキトー教師DotAI 認定講師公式ページには、プロバイダーが報告した値と実際の食い違いも監視していると書かれています。報告値を使う以上、そこをチェックしないと数字が信用できませんからね。
新しい測定方法：エージェント型ワークロード・APIデフォルト設定・エラー率の扱い
室谷代表取締役測定方法の変更で一番大きいのは、エージェント型ワークロードが全計測に組み込まれたことです。コーディングとナレッジワークの評価から出題される、ツールを呼びながら複数ターンで作業するタスク。
これがヘッドラインの数値に効いてくる。
これがヘッドラインの数値に効いてくる。
テキトー教師DotAI 認定講師方法論ページによると、ワークロードは『単一リクエスト』と『マルチターンのエージェント型セッション』の2種類。単一リクエストはショートから長文コンテキストまで複数のプロンプト長があります。
すべて同じ持続負荷の下で測るのがポイントで、本番環境に近い条件を再現しているんですよ。
すべて同じ持続負荷の下で測るのがポイントで、本番環境に近い条件を再現しているんですよ。
室谷代表取締役6時間ごとの実行で、固定の単一リクエスト workload と、ローテーションする workload を1つずつ測る。ローテーションは長文コンテキストとマルチターンを回すので、それぞれ1日1回は計測される。
ヘッドラインの数値は過去5日間の平均。この設計は覚えておいたほうがいいですよね。
ヘッドラインの数値は過去5日間の平均。この設計は覚えておいたほうがいいですよね。
テキトー教師DotAI 認定講師もうひとつの柱がAPIデフォルト設定の追跡です。多くの開発者は各ラボがAPIのデフォルトに定めたエフォートでモデルを動かしている。
だからデフォルト設定でも計測する。ただしエフォートの名前はラボ間で比較できないので、共通の設定を決め打ちするのではなく、各ラボ自身のデフォルトを使う。
ここは丁寧な設計だと思います。
だからデフォルト設定でも計測する。ただしエフォートの名前はラボ間で比較できないので、共通の設定を決め打ちするのではなく、各ラボ自身のデフォルトを使う。
ここは丁寧な設計だと思います。
室谷代表取締役そしてエラー率。失敗したリクエストは速度0として扱われ、エンドポイントごとにエラー率が表示される。
レート制限やタイムアウト、ベンチマークの締め切り時点でまだ走っているリクエストもエンドポイント側の失敗としてカウントされる。
レート制限やタイムアウト、ベンチマークの締め切り時点でまだ走っているリクエストもエンドポイント側の失敗としてカウントされる。
テキトー教師DotAI 認定講師ここ、発表スレッドでも独立した投稿で強調されていました。
室谷代表取締役ただし、APIキーが無効とか、クレジット切れとか、コンテキスト長を超えたリクエストとか、こちら側の責任は除外される。あくまでエンドポイント側の失敗だけを数える。
この線引きは公平ですよね。
この線引きは公平ですよね。
テキトー教師DotAI 認定講師マルチターンのセッションは1リクエストとして数え、どこか1ターンでも失敗すればそのセッションは失敗。ワークロードをまたいでリクエストをプールしてから割り算する。
細かいですが、再現性を考えると重要なルールです。
細かいですが、再現性を考えると重要なルールです。
GPT-6 AstraとGPT-6.1 Solが示した結果：時間・コスト・インテリジェンスのトレードオフ
室谷代表取締役で、実際の結果がどうなったか。OpenAIのGPT-6 AstraとGPT-6.1 Solが、Intelligence Index約45〜55の範囲でParetoフロンティアを占めているんですよね。
出力速度は遅いのに、です。
出力速度は遅いのに、です。
テキトー教師DotAI 認定講師最高エフォート時の数字を並べるとわかりやすいです。GPT-6 Astraは51トークン/秒でタスクあたり約17分。
Claude Opus 5.5は111トークン/秒で約26分。Gemini 4 Carbonは71トークン/秒で約29分。
トークン/秒で見ればAstraが一番遅いのに、タスク完了は一番速い。
Claude Opus 5.5は111トークン/秒で約26分。Gemini 4 Carbonは71トークン/秒で約29分。
トークン/秒で見ればAstraが一番遅いのに、タスク完了は一番速い。
室谷代表取締役理由はタスクあたりの出力トークン数です。GPT-6 Astraは約5万トークン、Claude Opus 5.5とGemini 4 Carbonは約12万〜17万トークン。
つまりAstraは3分の1以下のトークンで仕事を終えている。速く喋るより、無駄に喋らないほうが強い。
これが新指標で可視化された最大の発見ですよね。
つまりAstraは3分の1以下のトークンで仕事を終えている。速く喋るより、無駄に喋らないほうが強い。
これが新指標で可視化された最大の発見ですよね。
テキトー教師DotAI 認定講師ここで注意したいのは、これはArtificial AnalysisのIntelligence Indexのタスクにおける話だということです。あらゆる用途で同じ順位になるわけではありません。
公式ページのリーダーボードでも、Intelligence Indexのスコアはモデルやエフォートによって変わりますから、自分のユースケースに近い指標を見るのが基本です。
公式ページのリーダーボードでも、Intelligence Indexのスコアはモデルやエフォートによって変わりますから、自分のユースケースに近い指標を見るのが基本です。
室谷代表取締役コストの面も見ておきたい。公式ページのCost per Taskでは、GPT-6.1 Sol（medium）が$0.36、GPT-6 Astra（medium）が$2.73、Claude Opus 5.5（medium）が$2.45という数字が並んでいます。
時間だけでなくコストもタスク単位で見えるようになったのは大きいですよね。
時間だけでなくコストもタスク単位で見えるようになったのは大きいですよね。
テキトー教師DotAI 認定講師これはトークン単価ではなく、実際に消費したトークン量に単価を掛けて、Intelligence Indexの重みで加重平均したもの。だから長く喋るモデルは、単価が同じでもタスクコストが高くなる。
この構造を理解しておくと、料金表の見え方が変わりますよ。
この構造を理解しておくと、料金表の見え方が変わりますよ。
APIデフォルト設定でタスク時間は3〜5倍短縮、その代償は何か
室谷代表取締役ここが実務的に一番刺さるところです。APIデフォルト設定にすると、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5のいずれもTime per Taskが約3〜5倍短縮され、Cost per Taskも約2〜4倍減る。
ただしIntelligence Indexは5〜11ポイント下がる。
ただしIntelligence Indexは5〜11ポイント下がる。
テキトー教師DotAI 認定講師3社ともデフォルトはmediumエフォートなんですよね。具体的な数字を見ると、GPT-6 AstraはmaxでIndex 57・約18分だったのが、mediumではIndex 52・約5.8分。
GPT-6.1 Solは55から46に下がって、20.0分が3.9分。Claude Opus 5.5は59から48に下がって、26.0分が6.8分。
GPT-6.1 Solは55から46に下がって、20.0分が3.9分。Claude Opus 5.5は59から48に下がって、26.0分が6.8分。
室谷代表取締役Claude Opus 5.5はコストもmaxの$10.04からmediumで$2.45に下がる。約4分の1ですよ。
これは大きい。
これは大きい。
テキトー教師DotAI 認定講師ここで考えたいのが、その5〜11ポイントの差が自分の用途で意味を持つかどうかです。コーディングの複雑なリファクタリングなのか、社内文書の要約なのか。
後者ならmediumで十分なことが多い。講座でも受講生さんに『まずデフォルトで試して、足りないところだけ上げる』と伝えています。
後者ならmediumで十分なことが多い。講座でも受講生さんに『まずデフォルトで試して、足りないところだけ上げる』と伝えています。
室谷代表取締役逆に、maxにしないと解けないタスクにmediumを使うと、間違った答えを速く返してくるだけになる。速さとコストの改善は、品質が許容範囲内での話ですからね。
この3〜5倍という数字だけを見て『デフォルトでいいや』と決めるのは危険です。
この3〜5倍という数字だけを見て『デフォルトでいいや』と決めるのは危険です。
テキトー教師DotAI 認定講師公式の表現も『トレードオフ』ですからね。Artificial Analysisは品質を落とせとは言っていない。
品質を維持できる範囲で、どれだけ時間とコストを削れるかを示している。読み方を間違えないようにしたいところです。
品質を維持できる範囲で、どれだけ時間とコストを削れるかを示している。読み方を間違えないようにしたいところです。
開発者はモデル選定で何を見るべきか：新ベンチマークの読み方と限界
室谷代表取締役じゃあ実務でどう使うか。まずはTime per TaskとCost per Taskをセットで見る。
次に、自分のワークロードに近い条件の数字を探す。エージェント型のマルチターンなのか、単発の長文処理なのかで、効いてくる指標は変わりますからね。
次に、自分のワークロードに近い条件の数字を探す。エージェント型のマルチターンなのか、単発の長文処理なのかで、効いてくる指標は変わりますからね。
テキトー教師DotAI 認定講師見落としがちなのが、デコード速度だけを最適化したエンドポイントの扱いです。発表では、そうしたエンドポイントがEnd-to-End Output Speedで最も大きく順位を落とすと書かれています。
リクエストをキューに溜めてバッチサイズを下げたり、出力をまとめて一気に送ったりすると、初回トークンまでの待ちが長くなる。それが今回からカウントされるわけです。
リクエストをキューに溜めてバッチサイズを下げたり、出力をまとめて一気に送ったりすると、初回トークンまでの待ちが長くなる。それが今回からカウントされるわけです。
室谷代表取締役具体例がGLM-5.3です。最もストリーミングが速いエンドポイントは初回トークンまで18〜26秒かかるのに対し、他の多くは1〜3秒で始まる。
リクエスト全体の時間で見ると、速いと思っていたものが順位を落とす。
リクエスト全体の時間で見ると、速いと思っていたものが順位を落とす。
テキトー教師DotAI 認定講師これはプロバイダー選びにも直結します。同じモデルでも、どのエンドポイントを使うかで体感が変わる。
公式のIntegrity Termsでも、プロバイダーはベンチマーク用のトラフィックを検知して特別扱いしてはいけない、バッチサイズを下げて高速に見せてはいけない、と定められています。公平性の担保ですね。
公式のIntegrity Termsでも、プロバイダーはベンチマーク用のトラフィックを検知して特別扱いしてはいけない、バッチサイズを下げて高速に見せてはいけない、と定められています。公平性の担保ですね。
室谷代表取締役限界も押さえておきたい。方法論ページのKnown Limitationsには、量子化が品質に影響しうること、サーバー場所とレイテンシの問題が挙げられています。
ベンチマークはGoogle Cloudのus-central1リージョンで実行されているので、プロバイダーのサーバー位置によって有利不利が出る。これは日本から使う場合には特に意識したいところです。
ベンチマークはGoogle Cloudのus-central1リージョンで実行されているので、プロバイダーのサーバー位置によって有利不利が出る。これは日本から使う場合には特に意識したいところです。
テキトー教師DotAI 認定講師あと、Time per TaskはIntelligence Indexのタスクに基づく推定値であって、あなたのタスクの実測値ではない。そこは割り切って、相対比較の材料として使うのが正しい付き合い方です。
Artificial Analysisも『典型的な開発者体験を代表するように努める』と書いていますが、万能ではありません。
Artificial Analysisも『典型的な開発者体験を代表するように努める』と書いていますが、万能ではありません。
室谷代表取締役モデル選びの実務としては、候補を2〜3に絞って、自分のタスクで一度測るのが結局一番早いんですよね。その前段の絞り込みで、Time per TaskとCost per Task、エラー率、そしてエフォート別の数字を見る。
この順番がおすすめです。
この順番がおすすめです。
テキトー教師DotAI 認定講師モデルの切り替え方や選択肢の整理についてはChatGPTのモデル変更・選択のやり方2026年10月版も参考になります。指標の全体像を知りたい方はArtificial Analysis Intelligence Index v5とは？で、今回のTime per Taskの土台になっている評価軸を確認しておくと理解が深まりますよ。
室谷代表取締役速度に特化した提供形態の例としてはGPT-6.1 Sol Ultrafastとは？のような動きもあります。今回のベンチマーク変更は、そうした『速さ』の訴求をタスク完了時間という物差しで測り直すものなんですよね。
よくある質問
室谷代表取締役最後に、よく聞かれそうな点を整理しておきます。
テキトー教師DotAI 認定講師まず『Time per Taskはどう算出されるのか』。これはタスクあたりの回答トークンと推論トークンの合計を、End-to-End Output Speedで割り、Intelligence Indexと同じ重みで加重平均した推定値です。
評価を実際に走らせてストップウォッチで測っているわけではありません。
評価を実際に走らせてストップウォッチで測っているわけではありません。
室谷代表取締役『なぜトークン/秒ではなくなったのか』。ワークロードがエージェント化して、1トークンあたりの速度よりタスク完了までの時間が重要になったからです。
速くても冗長なモデルは遅くなる、という実態を反映しています。
速くても冗長なモデルは遅くなる、という実態を反映しています。
テキトー教師DotAI 認定講師『APIデフォルト設定の計測とは何か』。多くの開発者が各ラボのAPIデフォルトのエフォートで動かしているため、その設定でも計測するというものです。
エフォート名はラボ間で比較できないので、各ラボ自身のデフォルトを使います。
エフォート名はラボ間で比較できないので、各ラボ自身のデフォルトを使います。
室谷代表取締役『失敗したリクエストはどう扱われるのか』。エンドポイント側のエラー、レート制限、タイムアウトは速度0としてカウントされ、エンドポイントのエラー率が表示されます。
APIキーの無効やクレジット切れなど、計測側の責任は除外されます。
APIキーの無効やクレジット切れなど、計測側の責任は除外されます。
テキトー教師DotAI 認定講師『計測頻度と期間は』。6時間ごとに実行し、ヘッドラインの数値は過去5日間の平均です。
固定の単一リクエスト workload と、日替わりで回る長文コンテキスト・マルチターンの workload を測っています。
固定の単一リクエスト workload と、日替わりで回る長文コンテキスト・マルチターンの workload を測っています。
室谷代表取締役『日本から使う場合に注意点はあるか』。ベンチマークはGoogle Cloudのus-central1リージョンで実行されているため、初回トークンまでの時間にはネットワークレイテンシが含まれ、サーバー位置の影響を受けます。
公式も追加のテスト拠点を検討中としています。現時点で日本リージョンでの計測結果は明らかにされていません。
公式も追加のテスト拠点を検討中としています。現時点で日本リージョンでの計測結果は明らかにされていません。
テキトー教師DotAI 認定講師『どのモデルが一番いいのか』という問いには、公式の数字だけでは一概に答えられません。Intelligence Index、Time per Task、Cost per Task、エラー率のバランスは用途で変わるからです。
まずは自分のタスクに近い条件の数値を確認するのが確実です。
まずは自分のタスクに近い条件の数値を確認するのが確実です。
