室谷代表取締役
テキトー教師DotAI 認定講師
室谷代表取締役そこが今までのベンチマークと一線を画すところなんですよね。
AA-3Dとは?AIが3Dシーンを作る能力を測る新ベンチマーク
- AIモデルがインタラクティブな3D体験をどれだけ上手く作れるかを測るベンチマーク
- 各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築する
- タスクは55個、7つのドメインにまたがる(ランドマーク、機械、生き物、ゲーム、宇宙などを含む)
- 各ブリーフは「何を見せるか」「どう操作させるか」を指定し、残りはモデルに委ねる設計
- 単なる正解コードのテストではなく、コード生成・物理シミュレーション・視覚的な自己確認・UI設計を組み合わせた複合タスク
- 一発で完璧なコードを書く能力より、自分の出力を見て改善できる能力(作って、見て、直すループ)が問われる
- Artificial Analysisのオープンソース・エージェント基盤「Stirrup」上で動作し、各タスクはネットワークアクセスのない専用サンドボックスで実行される
テキトー教師DotAI 認定講師各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築します。
室谷代表取締役ランドマーク、機械、生き物、ゲーム、宇宙なんかが含まれていて、それぞれのブリーフが「何を見せるか」「どう操作させるか」を指定し、残りはモデルに委ねる設計です。
テキトー教師DotAI 認定講師ブリーフは要件だけを示して、あとはモデルの裁量に任せる。つまり、コード生成・物理シミュレーション・視覚的な自己確認・UI設計を組み合わせた複合タスクになっているんですよね。
室谷代表取締役そこを測る設計になっているのが、実務者としてはかなり納得感あります。
テキトー教師DotAI 認定講師この辺りの設計思想は、講座でエージェントを扱うときにも参考になりますね。
AA-3Dでできること――ブリーフからthree.jsの3Dシーンを自動生成
- 6分で最初の完全なページに到達
- 68分で終了
- 出力トークンはSonnet 5.5の6.2分の1
- 実行コスト 14.93ドル
- リスト価格はSonnet 5.5の5倍
- 42分まで何も見せない
- 2時間58分まで作業を続ける
- 出力トークンはGPT-6 Astraの6.2倍
- 実行コスト 11.62ドル
- リスト価格はGPT-6 Astraの5分の1
室谷代表取締役ブリーフと、全タスク共通の「デリバリー契約」を受け取り、コードを書き、シーンをレンダリングし、自分のスクリーンショットを見て修正する。これの繰り返しです。
テキトー教師DotAI 認定講師これだけ揃っていると、モデルは自分で画像処理をしたり、物理挙動を組んだり、ブラウザで自分のページをテストしたりできるわけです。
室谷代表取締役
テキトー教師DotAI 認定講師一方でClaude Sonnet 5.5は42分まで何も見せず、2時間58分まで作業を続けるんです。
室谷代表取締役実行コストは14.93ドル対11.62ドルで、リスト価格はGPT-6 Astraの5分の1だそうです。じっくり考えて、でも単価が安いから総額はそこまで膨らまない、という構造になっているわけです。
テキトー教師DotAI 認定講師用途によって使い分けたいところです。
AA-3Dの仕組みと評価方法――サンドボックス・ブラインド投票・Elo
- 01Build各モデルがオフラインサンドボックス内のエージェントとしてブリーフからWebページを作成
- 02Checkヘッドレスブラウザと人間がすべてのシーンを確認
- 03Vote審査員団が同じブリーフから作られた2つのシーンを、どちらのモデルが作ったかを伏せた状態で見比べて投票(ブラインド比較)。各シーンに最低30秒触れてから投票し、4回に1回は検証チェック
- 04RankBradley-Terryのフィッティングで投票をEloに変換。1,000人以上の審査員から10,000票以上の有効票を集め、21モデルを95%信頼区間付きで順位化
テキトー教師DotAI 認定講師
室谷代表取締役次にCheckで、ヘッドレスブラウザと人間がすべてのシーンを確認する。
テキトー教師DotAI 認定講師これがブラインド比較ですね。先入観を排除できるのがポイントです。
室谷代表取締役
テキトー教師DotAI 認定講師95%信頼区間付きです。
室谷代表取締役
テキトー教師DotAI 認定講師そして、そういう詳細なシーンは投票の63%を勝ち取っている。最も詳細でない五分の一は31%です。
室谷代表取締役詳細なシーンは主に強いモデルから出てくる、という相関の話であって、詳細にすれば勝てるという因果の話ではない。
テキトー教師DotAI 認定講師86個のシーン指標のうち補正を通過したのは11個で、どれも投票を4ポイント以上動かさない。つまり「見た目を盛れば勝てる」という単純な話ではないんですよね。
室谷代表取締役ブラウザテストは全ツール呼び出しの3分の1にすぎないのに、1回33〜38秒かかるから、1シーンあたり30.7分のツール時間のうち約25分を占めてしまう。
テキトー教師DotAI 認定講師上位5モデルは、他のモデルよりファイルやドキュメントを読む頻度が約半分(1シーンあたり9.4回対18.7回)で、21モデル全体では「読む回数が少ないほどEloが高い」という相関(Pearson −0.74)が出ています。
室谷代表取締役上位モデルは自分のシーンの画像を中央値10〜13ターン目で初めて見ていて、20ターン目までには少なくとも89%のシーンで見ている。下位の14〜20位は15〜40ターン目まで待つんです。
テキトー教師DotAI 認定講師
室谷代表取締役たくさん見ればいいわけじゃない。
テキトー教師DotAI 認定講師このベンチマークは、その原則をモデルの挙動として可視化しているわけです。
AA-3Dランキング結果――Claude Sonnet 5.5が首位、上位4モデルは統計的に並ぶ
室谷代表取締役95%信頼区間は1160〜1228です。
テキトー教師DotAI 認定講師この3モデルの95%信頼区間が、すべてClaude Sonnet 5.5の区間と重なっているんです。
室谷代表取締役ちなみにこの4つは全部AnthropicとOpenAIのモデルです。
テキトー教師DotAI 認定講師
室谷代表取締役
テキトー教師DotAI 認定講師| 順位 | モデル | Elo |
|---|---|---|
| 1 | Claude Sonnet 5.5 (Max, Default Fallback) | 1194 |
| 2 | Claude Opus 5.5 (Max, Default Fallback) | 1190 |
| 3 | GPT-6 Astra (Max) | 1165 |
| 4 | Claude Fable 5.1 (Max, Default Fallback) | 1131 |
| 5 | GPT-6 Sol (Max) | 1123 |
| 6 | GPT-6.1 Sol (Max) | 1114 |
| 7 | Muse Spark 1.3 (Max) | 1035 |
| 8 | GPT-6 Luna (Max) | 1000 |
| 9 | Claude Haiku 5.5 (Max) | 994 |
| 10 | Grok 4.7 (Xhigh) | 994 |
| 11 | Kimi K3 (Max) | 982 |
| 12 | MiMo-V2.6-Pro | 977 |
| 13 | Gemini 3.8 Flash (High) | 965 |
| 14 | Qwen3.8 Max (0902) | 948 |
| 15 | GLM-5.3-Flash | 931 |
| 16 | Mistral Large 4 Preview | 868 |
| 17 | Step 5 Preview | 848 |
| 18 | GLM-5.3 (Max) | 782 |
| 19 | MiniMax-M3 | 739 |
| 20 | Inkling (Xhigh) | 579 |
| 21 | Nemotron 3 Ultra 550B A55B (Reasoning) | 569 |
室谷代表取締役
テキトー教師DotAI 認定講師唯一の例外が「生き物」で、ここでは6位のGPT-6.1 Solが78.6%で、Claude Sonnet 5.5の78.5%と並んでトップです。
室谷代表取締役
テキトー教師DotAI 認定講師他のモデルは112セルのうち6つだけがそれを外れる、という結果です。
室谷代表取締役AA-3Dのコストと性能――1シーン0.20ドルから32.08ドル、費用対効果の最前線
テキトー教師DotAI 認定講師最安はGPT-6 Lunaで、最高額はClaude Fable 5.1です。
室谷代表取締役ここ、エージェント設計の実務では効いてくるところですよね。
テキトー教師DotAI 認定講師
室谷代表取締役整理するとこうなります。
- GPT-6 Luna:1シーン0.20ドル、Elo 1000
- Muse Spark 1.3:3.21ドル、Elo 1035
- GPT-6 Sol:3.46ドル、Elo 1123
- Claude Sonnet 5.5:15.18ドル、Elo 1194
テキトー教師DotAI 認定講師
室谷代表取締役55シーンすべてを構築しています。Kimi K3は同程度のEloのために、1シーンあたり68倍使っている計算になります。
テキトー教師DotAI 認定講師
室谷代表取締役公式ページには「Inklingは代表的なキャッシュヒット率がないため表示していない」と明記されています。つまり、同じモデルでも使い方によって実効コストは変わる。
テキトー教師DotAI 認定講師
室谷代表取締役これはTerminal-Bench 4.0の0.81やSciCodeの0.76より強い相関です。
テキトー教師DotAI 認定講師GPT-6 Astraも46上回ります。逆にGLM-5.3は197下回っていて、これは画像を見られないことが一因かもしれないと分析されています。
同じZ AIのGLM-5.3-Flashは画像を見られるので、より低い知能指数で149高くスコアしています。
室谷代表取締役AA-3Dの使い方・始め方――投票に参加する方法と結果の見方
テキトー教師DotAI 認定講師
室谷代表取締役
テキトー教師DotAI 認定講師
室谷代表取締役
テキトー教師DotAI 認定講師
室谷代表取締役
テキトー教師DotAI 認定講師
室谷代表取締役
テキトー教師DotAI 認定講師
室谷代表取締役よくある質問
Q. AA-3Dとは何を測るベンチマークですか?
A. AA-3D v1.0は、AIモデルがインタラクティブな3D体験をどれだけ上手く作れるかを測ります。各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築します。ベンチマークは7ドメインにまたがる55タスクで構成されています。
Q. AA-3Dではどうやってモデルがランク付けされるのですか?
A. 募集した人間の審査員団によるブラインド比較から導かれるEloレーティングでランク付けされます。審査員は同じタスクで作られた2つのシーンを操作し、どちらのモデルが作ったかを知らないまま好みのほうを選びます。Eloが高いほど、より頻繁に好まれることを示します。
Q. 誰でも投票に参加できますか?
A. はい。AA-3D Votingのページで、2つの無名モデルが同じブリーフから作った2つのシーンを比較して投票できます。ただし、そこで投じた票はリーダーボードにはカウントされません。
Q. 首位のモデルは何ですか?
A. Claude Sonnet 5.5がElo 1194で最高スコアですが、上位4モデルは統計的に並んでいます。Claude Opus 5.5(1190)、GPT-6 Astra(1165)、Claude Fable 5.1(1131)の95%信頼区間が、いずれもClaude Sonnet 5.5の区間と重なっています。
Q. 1シーンあたりのコストはどのくらいですか?
A. モデルによって0.20ドルから32.08ドルまで開きがあります。最安はGPT-6 Lunaで、最高額はClaude Fable 5.1です。支出の69%は入力が占めており、これはエージェントが毎ターン、コンテキスト全体を送り直すためです。
Q. オープンウェイトのモデルはどのくらいの順位ですか?
A. オープンウェイト勢の最高位はKimi K3(Elo 982、11位)とMiMo-V2.6-Pro(977、12位)で、首位から200ポイント以上離されています。
Q. AA-3Dはどの基盤で動作していますか?
A. Artificial Analysisのオープンソース・エージェント基盤「Stirrup」上で動作します。各タスクはネットワークアクセスのない専用サンドボックスで実行されます。
Q. 新しいモデルは追加されますか?
A. はい。新しいモデルがリリースされるたびに、AA-3Dリーダーボードに追加されていくと発表されています。
