AA-AgentPerfとは？何を測るベンチマークなのか
AA-AgentPerfの特徴
ハードウェアベンチマーク
Artificial Analysisが公開。推論ハードウェアとソフトウェアの組み合わせをテストする
実エージェント軌跡を再生
合成プロンプトではなく実在のコーディングエージェントの対話履歴を使用。推論・ツール呼び出し・コード編集が交互に続くマルチターン
エージェント特有の負荷を測定
長文コンテキスト、ツール呼び出しの遅延、KVキャッシュの再利用機会への強さを測る
データセット生成方法
OpenCode上でDeepSeek V3.2、GLM 4.7、Kimi K2.5に公開リポジトリの課題を解かせて生成
入力長の範囲
約5K〜131Kトークン、平均約27K。ターンを追うごとにコンテキストが積み上がる
ツール遅延を再現
実ツール実行時間の分布からサンプリングした固定遅延(0.1秒未満〜5秒、中央値約1秒)を挿入
計測条件
固定の同時実行レベルごとにフェーズを分割。各フェーズ最低30軌跡完了、各エージェント最低3軌跡完了、定常状態で10分以上計測
室谷代表取締役Artificial AnalysisがSilicon Dataと提携して、データセンター向けハードウェア性能ベンチマーク「AA-AgentPerf」に市場ベースのGPUレンタル価格を取り込むと発表しました。これ、地味に見えてけっこう大きい話なんですよね・・・。
テキトー教師DotAI 認定講師まずAA-AgentPerfそのものの定義から押さえたいです。これはArtificial Analysisが公開しているハードウェアベンチマークで、推論ハードウェアとソフトウェアの組み合わせを、実際のコーディングエージェントの軌跡を再生してテストするものです。
単なるトークン生成速度の測定とは根本的に違います。
単なるトークン生成速度の測定とは根本的に違います。
室谷代表取締役公式ページでも「AA-AgentPerf: The Hardware Benchmark for the Agent Era」と銘打っていて、長文コンテキスト、ツール呼び出しの遅延、KVキャッシュの再利用機会といったエージェント特有の負荷への強さを測ると書かれています。
テキトー教師DotAI 認定講師ここが重要で、合成プロンプトではなく実在のコーディングエージェントの対話履歴を使うんですよ。推論・ツール呼び出し・コード編集が交互に続くマルチターンのセッションを再生する。
単に速さを競う話じゃないんです。
単に速さを競う話じゃないんです。
室谷代表取締役方法論のページを見ると、データセットはOpenCodeというエージェントハーネス上で、DeepSeek V3.2、GLM 4.7、Kimi K2.5という3つのオープンソースモデルに実際の公開リポジトリの課題を解かせて生成した軌跡なんですよね。入力長は約5Kから131Kトークン、平均約27K。
ターンを追うごとにコンテキストが積み上がっていく。
ターンを追うごとにコンテキストが積み上がっていく。
テキトー教師DotAI 認定講師しかもツール呼び出しのたびに、実際のツール実行時間の分布からサンプリングした固定の遅延を挟む。0.1秒未満から5秒まで、中央値は約1秒です。
これがエージェントの実運用に近い負荷を作っているわけです。
これがエージェントの実運用に近い負荷を作っているわけです。
室谷代表取締役テストは固定の同時実行レベルごとにフェーズを分けて、各フェーズで最低30の軌跡が完了し、各エージェントが最低3軌跡を完了し、定常状態で10分以上の計測時間が経過するまで走らせる。ちゃんと設計されているなという印象です。
新指標「Throughput per $/hr」とは？コストあたり性能の読み方
まとめ
新指標「Throughput per $/hr」の要点
- 定義：システムとサービング構成の総スループット ÷ 1時間あたりのレンタルコスト（1ドルあたりのエージェント作業処理量）
- 総スループット＝全エージェント合計の入出力トークン/秒（入力にはKVキャッシュヒット分も含む）
- 出力速度＝リクエストごとの生成速度（最初のトークン到着後の秒間トークン数）
- 背景：従来はMWあたり・アクセラレータあたりで正規化していたが、時間あたりコストは指標に入っていなかった
- 価格は日次変動するため、Silicon Dataの日次指数をクラウド事業者横断で集計し毎日更新
- 価格データがないチップはArtificial Analysis自身の推計を使用
- MWあたりの数値は定格TDPではなく負荷時の実測消費電力（GPUダイ＋HBM）に基づく
- Silicon Data指数は標準化した1GPU・1時間あたりの価格指標であり、特定事業者の料金表ではない
室谷代表取締役で、今回の発表の主役が新指標「Throughput per $/hr」です。これはシステムとサービング構成の総スループットを、そのシステムを1時間レンタルするコストで割ったもの。
つまり「1ドルあたりどれだけエージェント作業を処理できるか」を表します。
つまり「1ドルあたりどれだけエージェント作業を処理できるか」を表します。
テキトー教師DotAI 認定講師Artificial Analysisはこれまで性能をMWあたり、アクセラレータあたりで正規化してきたけれど、実際にシステムを借りるときの時間あたりコストは指標に入っていなかった。ユーザーやパートナーから「コンピュート1ドルあたりどれだけエージェント作業を処理できるか知りたい」という声があったわけです。
室谷代表取締役公式スレッドでも「Our users and partners want to know how much agent work they can support per dollar of compute」と明言されています。価格は日々変動するので、静的な価格表では実態を反映しにくい。
だからSilicon Dataの日次指数を使う。ここがミソなんですよね。
だからSilicon Dataの日次指数を使う。ここがミソなんですよね。
テキトー教師DotAI 認定講師整理すると、指標の構造はこうです。
- 総スループット：全エージェント合計の入出力トークン/秒（入力にはKVキャッシュヒット分も含む）
- 出力速度：リクエストごとの生成速度（最初のトークンが届いた後の秒間トークン数）
- Throughput per $/hr：総スループット ÷ 1時間あたりのレンタルコスト
- 価格データ：Silicon Dataの指数をクラウド事業者横断で集計し、毎日更新
室谷代表取締役方法論ページには、プライマリ結果である総サーバースループットを、MWあたり、アクセラレータあたり、そして「1時間あたりのアクセラレータレンタル価格あたり」で正規化すると書かれています。MWあたりの数値は定格TDPではなく、負荷時の実測消費電力（GPUダイ＋HBM）に基づく。
レンタル価格はSilicon Dataから取り、Silicon Dataが価格を出していないチップについてはArtificial Analysis自身の推計を使うとのことです。
レンタル価格はSilicon Dataから取り、Silicon Dataが価格を出していないチップについてはArtificial Analysis自身の推計を使うとのことです。
テキトー教師DotAI 認定講師ここで注意したいのが、料金の話をするときに「どのGPUがいくら」という数字を一人歩きさせないことですね。Silicon Dataの指数は、ネオクラウドやGPUマーケットプレイスから実レンタル価格を集計し、条件を標準化した1GPU・1時間あたりの価格指標です。
室谷代表取締役そうそう。Silicon Dataのサイトでは、H100が2.94ドル/GPU時間、H200が3.46ドル、B200が6.50ドル、B300が7.55ドルといった指数値が公開されています。
ただしこれは日次で動く市場指数であって、特定事業者の料金表ではない。H100とA100についてはネオクラウドとハイパースケーラーの読み値を分けて公表していて、ハイパースケーラーのH100は7.12ドルという読み値も出ています。
ただしこれは日次で動く市場指数であって、特定事業者の料金表ではない。H100とA100についてはネオクラウドとハイパースケーラーの読み値を分けて公表していて、ハイパースケーラーのH100は7.12ドルという読み値も出ています。
B300・B200・H100・H200のコスパ比較——現時点で見える傾向
まとめ
B300・B200・H100・H200のコスパ比較で見える傾向
- 指標は「1ドルあたりのエージェント処理量」。B300が総じて首位で、B200は一部モデルで高速出力時にB300に並ぶ
- B300は指数値7.55ドルでH100の2.94ドルより高いが、スループットが価格差を上回るためコスパ首位。「単に安いGPUを選ぶ」判断軸とは異なる
- チャート内のMI355Xのレンタル料率はArtificial Analysisが最近の市場相場を基に仮定した値（Silicon Dataが価格を出さないチップは自社推計）
- 結果はモデルごと・サービング構成ごとの点としてパレートフロンティアで公開。各点は1構成の1同時実行レベルに対応し、単一スコアでは語れない
- 公式ページはDeepSeek V4.1 FlashやKimi K3、GLM-5.2 & 5.3などモデル別に表示切替。出力速度のデフォルトはP25（4分の3のリクエストが上回る速度）
室谷代表取締役で、気になる結果ですよ。公式スレッドによると、レンタル価格が取得可能なシステムの中では、NVIDIAのB300が総じて首位。
B200は一部のモデルで、より高速な出力速度のときにB300に並ぶとされています。
B200は一部のモデルで、より高速な出力速度のときにB300に並ぶとされています。
テキトー教師DotAI 認定講師ここは誤解されやすいので丁寧に言いたいんですけど、「B300が一番性能が高い」という話ではなくて、「1ドルあたりのエージェント処理量」で見たときにB300がリードするという話です。価格あたりの指標だから、高いGPUが必ずしも不利とは限らない。
室谷代表取締役そうなんですよね。B300は指数値で7.55ドルと、H100の2.94ドルより高い。
でもスループットがそれを上回るから、コスパでは首位になる。ここが「単に安いGPUを選ぶ」のとは違う判断軸です。
でもスループットがそれを上回るから、コスパでは首位になる。ここが「単に安いGPUを選ぶ」のとは違う判断軸です。
テキトー教師DotAI 認定講師もう一つ重要な注記があって、公式スレッドでは、チャートにMI355Xのレンタル料率が含まれているけれど、これはArtificial Analysisが最近の市場相場を基に仮定した値だと明記されています。Silicon Dataが価格を出していないチップは自社推計を使うという方法論のとおりですね。
この点は読むときに意識しておきたいです。
この点は読むときに意識しておきたいです。
室谷代表取締役あと、この指標は「モデルごと」「サービング構成ごと」の点として出るんですよ。方法論では、各システムの結果を総サーバースループットとリクエストあたり出力速度のパレートフロンティアとして公開すると書かれています。
各点が1つのサービング構成の1つの同時実行レベルで、同じシステム上で他のどの構成にもスループットと速度の両方で勝てない点だけがフロンティアに残る。
各点が1つのサービング構成の1つの同時実行レベルで、同じシステム上で他のどの構成にもスループットと速度の両方で勝てない点だけがフロンティアに残る。
テキトー教師DotAI 認定講師だから「B300のスコアはいくつ」と単一の数字で語ることはできなくて、どのモデルを、どの構成で、どの同時実行レベルで動かすかによって点が変わる。そこが従来のベンチマーク表と違うところですね。
室谷代表取締役公式ページのチャートでも、DeepSeek V4.1 FlashやKimi K3、GLM-5.2 & 5.3といったモデルごとに表示が切り替わる作りになっています。出力速度のデフォルトはP25、つまりリクエスト全体の25パーセンタイルで、4分の3のリクエストがこれを上回った速度を見る。
エージェントの仕事は小さい出力のリクエストが多いから、平均より下側の速度を基準にするのは理にかなっています。
エージェントの仕事は小さい出力のリクエストが多いから、平均より下側の速度を基準にするのは理にかなっています。
なぜ今、GPUレンタル価格をベンチマークに組み込むのか
室谷代表取締役ここからが本題なんですけど、なんで今このタイミングで価格なのか。理由はシンプルで、エージェント時代になって「1台のGPUで何人が同時に使えるか」が経営判断に直結してきたからですよね。
テキトー教師DotAI 認定講師背景ブリーフにもあるとおり、これまでAA-AgentPerfは性能をMWあたり・アクセラレータあたりで正規化してきたけれど、実際にシステムを借りるときの時間あたりコストは指標に含まれていませんでした。ユーザーとパートナーからの要望が直接のきっかけです。
室谷代表取締役MYUUUでもGPUの選定は常に悩みどころで、スペック表を見て「このGPUが速い」と決めても、実際に借りるときの時間単価が変われば話が変わってくる。しかもGPUレンタル価格は日々動くので、半年前の価格表で計算した容量計画が今も正しいとは限らないんですよね・・・。
テキトー教師DotAI 認定講師そこをSilicon Dataの日次指数が埋める。Silicon DataはH100・H200・A100・B200・B300・MI300Xのレンタル価格指数を日次で提供していて、ネオクラウドGPU事業者の95%、主要ハイパースケーラーの100%をカバーし、世界のレンタル市場の80%超を代表するとしています。
室谷代表取締役指数の作り方も見ておきたいですね。Silicon Dataの方法論では、すべてのレンタル記録をまず1時間・1GPUあたりの標準単価に変換し、レンタル期間、地理、CPUプラットフォーム、GPUバリアントを考慮してベンチマーク等価な契約に標準化する。
そのうえで事業者レベルで集計し、事業者間の加重平均を最終的な指数値にする。単純な平均だと日々の構成の混み具合でぶれてしまうので、基準調整を入れているわけです。
そのうえで事業者レベルで集計し、事業者間の加重平均を最終的な指数値にする。単純な平均だと日々の構成の混み具合でぶれてしまうので、基準調整を入れているわけです。
テキトー教師DotAI 認定講師Artificial Analysisの側でも、価格変動に応じて毎日更新される点を強調しています。静的な価格表ではなく、市場の実勢を反映したコストあたり性能を毎日見られる。
これが「今このタイミング」の意味ですね。
これが「今このタイミング」の意味ですね。
エージェント型AIの性能はどう測る？実コーディング軌跡を使う評価手法
室谷代表取締役ここで評価手法をもう少し深掘りしておきたいです。AA-AgentPerfの肝は、実在のコーディングエージェントの軌跡を使うこと。
方法論によれば、データセットは複数のユースケース、プログラミング言語、モデルをカバーしていて、12以上の言語が含まれ、Pythonが最も多く、次にTypeScriptとGoが続きます。
方法論によれば、データセットは複数のユースケース、プログラミング言語、モデルをカバーしていて、12以上の言語が含まれ、Pythonが最も多く、次にTypeScriptとGoが続きます。
テキトー教師DotAI 認定講師出力長もターンごとに大きく違います。単純なツール呼び出しのような短い出力もあれば、モデルが応答や行動の前に長く推論するターンもある。
このばらつきが現実のエージェント作業の姿なんですよ。
このばらつきが現実のエージェント作業の姿なんですよ。
室谷代表取締役テスト参加者には設定検証と性能チューニング用に、500の軌跡（18,997プロンプト）からなる代表的なサブセットが提供されるけれど、フルテストデータセットは非公開。ベンチマークに狙い撃ちした最適化を防ぐためです。
テキトー教師DotAI 認定講師実行の詳細も面白いです。各フェーズは最低30の軌跡が完了し、各エージェントが最低3軌跡を完了し、定常状態で10分以上経過するまで走る。
軌跡の割り当てはフェーズ間で決定的で、各フェーズの開始時に動的生成したプレフィックスを付けてフェーズ間のプレフィックスキャッシュを壊す。max_tokensは16Kで、モデルが繰り返しループにはまって結果を歪めるのを防ぐ。
軌跡の割り当てはフェーズ間で決定的で、各フェーズの開始時に動的生成したプレフィックスを付けてフェーズ間のプレフィックスキャッシュを壊す。max_tokensは16Kで、モデルが繰り返しループにはまって結果を歪めるのを防ぐ。
室谷代表取締役計測する指標は、TTFT（リクエスト送信から最初の出力トークンまでのレイテンシ）、出力速度、総サーバースループットの3つ。すべて、全エージェントが目標同時実行数で30秒以上アクティブな定常状態にフィルタされる。
速度指標は推論フレームワークが返す使用量メタデータのサーバー側トークン数を使い、候補モデルのネイティブトークナイザによるローカルトークン化と照合する。
速度指標は推論フレームワークが返す使用量メタデータのサーバー側トークン数を使い、候補モデルのネイティブトークナイザによるローカルトークン化と照合する。
テキトー教師DotAI 認定講師モデルはクリエイター推奨のサンプリングパラメータで、利用可能な最大の推論努力でテストされる。DeepSeek V4.1 Flash、DeepSeek V4 Pro 0813、Kimi K3、GLM-5.2、GLM-5.3はmax、Muse Spark Openはxhighですね。
室谷代表取締役あと、ハードウェアベンダー向けに投稿窓口も用意されていて、agentperf@artificialanalysis.ai に連絡すれば評価を申し込める。結果はローリングベースで公開され、新しいソフトウェアスタックやモデルバージョンで再測定される。
生きたリーダーボードとして運用されているわけです。
生きたリーダーボードとして運用されているわけです。
テキトー教師DotAI 認定講師ローカル環境向けにはAA-AgentPerf-Localというオープンソースツールもあります。これは記録済みのエージェントセッションをローカルハードウェア上で再生し、マシン上のモデルサーバーに対して、各リクエストがそこまでの会話全体を運ぶ形で、全ターンに答えるまでの時間を測るものです。
室谷代表取締役公式記事ではNVIDIA RTX Spark N1X搭載ラップトップの最初の結果が出ていて、Qwen3.8 27Bで18.7分。DGX Sparkの17.3分に近く、MacBook Pro（M5 Pro）の37.6分より2.0倍速く、Ryzen AI Haloの34.5分より1.8倍速い。
GeForce RTX 5090のデスクトップが4.9分で最速という結果です。
GeForce RTX 5090のデスクトップが4.9分で最速という結果です。
テキトー教師DotAI 認定講師このローカル版のワークロードは、PinchBenchから5つ、SWE-benchから3つの計8タスク、168モデルターン、最長で56Kトークンのコンテキスト、プロンプトトークン合計2.6Mのうち新規は196K、出力は31Kトークン。どのシステムでも同じ仕事をするようにできています。
室谷代表取締役こういう評価の考え方は、Artificial Analysisの他の指標とあわせて見ると解像度が上がります。総合的な知能を測るArtificial Analysis Intelligence Index v5とは？の解説も参考になりますし、モデルの意思決定を評価するArtificial Analysis Decision Indexとは？も合わせて読むと、指標設計の思想がつながって見えます。
ハードウェア選定・容量計画にどう活用するか
室谷代表取締役じゃあ実務でどう使うか。一番わかりやすいのは、自社のエージェントサービスをどのGPUで、どの構成で、どれくらいの同時実行数で動かすかの判断ですよね。
テキトー教師DotAI 認定講師使い方は3段階に整理できます。
- 比較：同じモデル・同じ同時実行レベルで、複数システムのThroughput per $/hrを見比べる
- 計画：想定する同時エージェント数から必要な台数と時間コストを逆算する
- 監視：価格指数は毎日動くので、調達のタイミングを価格の変化に合わせて見直す
室谷代表取締役特に3番目が新しいところです。これまでは「このGPUは速い」で終わっていたのが、「今週の価格で見るとどのGPUが得か」まで踏み込める。
MYUUUでも調達の判断材料としてこういう指標があると助かります。
MYUUUでも調達の判断材料としてこういう指標があると助かります。
テキトー教師DotAI 認定講師ただし注意点もあって、この指標はあくまで総スループットを価格で割ったものなので、レイテンシ要件が厳しいサービスでは出力速度の側も必ず確認する必要があります。方法論でもパレートフロンティアとして、スループットと速度の両方の軸で見る形になっていますからね。
室谷代表取締役それと、価格指数はネオクラウドとハイパースケーラーで読み値が分かれるものもあるので、自分がどちらのセグメントで調達するかを意識しないと数字を読み違えます。H100でいえばネオクラウドが2.94ドル、ハイパースケーラーが7.12ドルという読み値が公開されていて、この差はかなり大きい。
テキトー教師DotAI 認定講師あと、AA-AgentPerfの結果は各プロバイダーが開示したフルシステム構成とともに公開され、公開前にプロバイダーが事実確認のために結果をレビューできるとされています。透明性の設計として押さえておきたいところです。
室谷代表取締役ローカル環境で試したい人はAA-AgentPerf-LocalがGitHubで公開されているので、自分のマシンで任意のレシピを走らせられます。ラップトップやワークステーションのリーダーボードも用意されていて、価格を自分で入力して比較できるようになっています。
テキトー教師DotAI 認定講師講座でも受講生さんから「どのGPUを買えばいいか」という相談がよく来るんですけど、こういう価格あたりの指標が出てくると説明がしやすくなりますね。スペック表の数字ではなく、実際のエージェント作業と実際の価格で比べる。
それがこのベンチマークの価値です。
それがこのベンチマークの価値です。
よくある質問
室谷代表取締役最後に、よく聞かれそうな点を整理しておきます。
テキトー教師DotAI 認定講師まず、AA-AgentPerfとは何か。Artificial Analysisが公開しているデータセンター向けハードウェアベンチマークで、実在のコーディングエージェントの軌跡を再生し、長文コンテキスト、ツール呼び出し遅延、KVキャッシュ再利用といったエージェント特有の負荷への強さを測るものです。
室谷代表取締役Throughput per $/hrとは何か。システムとサービング構成の総スループットを、そのシステムの1時間あたりレンタルコストで割ったコストあたり性能の指標です。
Silicon Dataの価格指数を使い、毎日更新されます。
Silicon Dataの価格指数を使い、毎日更新されます。
テキトー教師DotAI 認定講師どのGPUの価格が反映されるのか。公式スレッドではH100、H200、B200、B300のSilicon Data指数をクラウド事業者横断で表示するとされています。
Silicon Dataが価格を出していないチップについてはArtificial Analysisの推計が使われ、MI355Xのレンタル料率は最近の市場相場を基に仮定した値だと注記されています。
Silicon Dataが価格を出していないチップについてはArtificial Analysisの推計が使われ、MI355Xのレンタル料率は最近の市場相場を基に仮定した値だと注記されています。
室谷代表取締役現時点の傾向は。レンタル価格が取得可能なシステムの中ではNVIDIAのB300が総じて首位で、B200は一部モデルでより高速な出力時に並ぶとされています。
ただしこれはモデルやサービング構成ごとの点として公開されるものなので、単一のスコアとして語れるものではありません。
ただしこれはモデルやサービング構成ごとの点として公開されるものなので、単一のスコアとして語れるものではありません。
テキトー教師DotAI 認定講師自分の環境で測るには。AA-AgentPerf-LocalがGitHubで公開されているオープンソースツールで、記録済みのエージェントセッションをローカルハードウェア上で再生して、全ターンに答えるまでの時間を測れます。
室谷代表取締役ベンチマークに参加するには。ハードウェアベンダーはagentperf@artificialanalysis.aiに連絡して投稿できます。
結果はローリングベースで公開され、新しいソフトウェアスタックやモデルバージョンで再測定されます。
結果はローリングベースで公開され、新しいソフトウェアスタックやモデルバージョンで再測定されます。
テキトー教師DotAI 認定講師従来のトークン/秒のベンチマークと何が違うのか。合成プロンプトではなく実在のマルチターン軌跡を使い、全エージェントがテスト中ずっとアクティブな持続的同時負荷をかけ、KVキャッシュ再利用や投機的デコーディング、スケジューラの挙動まで試す点が違います。
室谷代表取締役価格指数のカバレッジは。Silicon DataはネオクラウドGPU事業者の95%、主要ハイパースケーラーの100%をカバーし、世界のレンタル市場の80%超を代表するとしています。
指数は毎営業日更新されます。
指数は毎営業日更新されます。
テキトー教師DotAI 認定講師日本から使えるのか、料金はいくらか。AA-AgentPerfのリーダーボードはArtificial Analysisのサイトで公開されており、AA-AgentPerf-LocalはGitHubで入手できます。
個別の商用利用条件やSilicon Dataのポータル料金については、現時点では明らかにされていません。
個別の商用利用条件やSilicon Dataのポータル料金については、現時点では明らかにされていません。
室谷代表取締役というわけで、性能と価格を毎日つなげて見られるようになったのは、エージェントを事業に組み込む側にとってはかなり実用的な進歩なんですよね。ベンチマークが「速さの話」から「いくらで何ができるかの話」に変わってきた。
この流れは今後も追っていきたいです。
この流れは今後も追っていきたいです。
