室谷代表取締役Optima（オプティマ）は、Artificial Analysisが2026年8月13日に発表したカスタムベンチマーク作成プラットフォームで、自社のデータやワークフローに合わせた評価セットを組んで、主要モデルを品質・コスト・時間の3軸で比較できるサービスなんですよね。今回の最新アップデートで、作成と実行がこれまで以上に簡単になったという発表です。
テキトー教師DotAI 認定講師標準ベンチマークって、汎用的な能力は測れますけど「自分のユースケースにどのモデルが合うか」は分からないんですよ。そこを埋めるのがOptimaという位置づけですね。
まずは発表の中身を整理しましょう。
まずは発表の中身を整理しましょう。
室谷代表取締役Artificial Analysisの公式投稿では、3ステップでアイデアからパーソナライズされたベンチマークに進めること、モデルのインテリジェンス・コスト・スピードを自分のユースケースで比較できること、最新モデル上で自分のタスクを実行できることが挙げられています。
テキトー教師DotAI 認定講師ポイントは「誰でも作れる」というセルフサーブ化ですよね。ベンチマークの構築と実行は難しい、というのが公式ブログの問題意識として明記されていて、Artificial Analysisの研究と経験をOptimaに凝縮したと説明されています。
室谷代表取締役ここは実務者としてかなり刺さる話で・・・これまで社内でモデル選定やるとなると、誰かが評価スクリプトを書いて、採点基準も自作して、という地獄みたいな作業だったんですよw それがプラットフォーム化される意味は大きいです。
Optimaとは？Artificial Analysisが提供するカスタムベンチマーク作成ツール
まとめ
Optimaとは（要点整理）
- Artificial Analysisが提供する、自分のワークロード上でモデルをベンチマークし、性能・速度・コスト効率を比較するプラットフォーム
- 公式ページの指摘：標準ベンチマークは一般的なモデル能力を測るが、自分の特定ユースケースにどのモデルが適しているかは分からない
- 狙い：自分のタスクに最適なモデルを見つける、または現状構成に対し同等性能を10倍低いコスト/時間で実現する代替を見つける
- 背景：LLM Leaderboardで知られる独立系AIベンチマーク企業が、汎用スコア提供から個別最適の道具提供へ広げた
- モデル乗り換えの本題は「賢いモデルはどれか」ではなく「今の構成を維持したまま安くできないか」
- 独立性ポリシーを明記：提供者が結果・手法の変更や掲載のために支払うことはできない
テキトー教師DotAI 認定講師改めて定義を整理すると、OptimaはArtificial Analysisが提供する、自分のワークロード上でモデルをベンチマークし、性能・速度・コスト効率を比較するためのプラットフォームです。公式ページには「標準ベンチマークは一般的なモデル能力を測るが、自分の特定ユースケースにどのモデルが適しているかは分からない」と明記されています。
室谷代表取締役Artificial AnalysisといえばLLM Leaderboardでお馴染みの、独立系AIベンチマーク企業を自称している会社ですよね。その会社が「自分のタスク用のベンチマークを作る」機能を出したというのは、思想として面白いんですよ。
汎用スコアの提供者から、個別最適の道具提供者にも広がったわけですから。
汎用スコアの提供者から、個別最適の道具提供者にも広がったわけですから。
テキトー教師DotAI 認定講師公式ブログでは、Optimaの狙いとして「自分のタスクに最適なモデルを見つける、あるいは現状の構成に対して同等の性能を10倍低いコストまたは時間で実現する代替を見つける」ことが挙げられています。単にスコアを出す話じゃないんですよ。
室谷代表取締役そうそう、ここ大事で。モデル乗り換えの意思決定って「賢いモデルはどれか」じゃなくて「今の構成を維持したまま安くできないか」が本題だったりするんですよね。
MYUUUでもまさにそこを見ています。
MYUUUでもまさにそこを見ています。
テキトー教師DotAI 認定講師なおArtificial Analysisは独立性ポリシーを明記していて、提供者が結果や手法の変更、掲載のために支払うことはできないとしています。ベンチマークの信頼性の前提として押さえておきたいところですね。
Optimaでできること——品質・コスト・時間を同一条件でモデル比較
Optimaの採点方式の使い分け
| 採点方式 | ルーブリック採点 | ペアワイズ判定 |
|---|---|---|
| 採点の基準 | 客観的なルーブリック基準 | サンプルから好ましい回答を選ぶ選好 |
| 向いているタスク | 正解が決まっているタスク | どちらが好みかという主観が入るタスク |
| 採用例 | ― | GDPval-AA / AA-Briefcase |
| ランク付けの方法 | ルーブリック基準で採点 | 選好を使ってテストセット全体でモデルをランク付け |
室谷代表取締役で、実際に何ができるかというと、まず同じベンチマークを主要モデルに対してワンクリックで一括実行できる。しかも新しいモデルが出たらリーダーボードを更新し続けられる、と。
テキトー教師DotAI 認定講師評価軸が3つあるのが特徴です。ベンチマークスコアに加えて、タスクあたりのコスト（Cost per Task）とタスクあたりの時間（Time per Task）が記録される。
カテゴリ別の結果やカスタムメトリクスにも対応しています。
カテゴリ別の結果やカスタムメトリクスにも対応しています。
室谷代表取締役公式ページの例が分かりやすいんですよ。契約レビューのベンチマーク24タスクで4モデルを並べた表があって、スコア60で1タスク$0.18・74秒のモデル、スコア59で$0.11・52秒、スコア57で$0.04・61秒、スコア50で$0.02・29秒、という並びになっている。
テキトー教師DotAI 認定講師これ、まさに「strong and cheap」という注記が付いているモデルがあるように、スコア差とコスト差を天秤にかける判断ができるわけです。最上位と最安でスコア差は10ポイント、コストは9倍。
この情報がないまま「一番賢いモデル」を選ぶのがいかに危ういか分かりますね。
この情報がないまま「一番賢いモデル」を選ぶのがいかに危ういか分かりますね。
室谷代表取締役しかも自前のエージェントをHTTP経由で同じ実行に参加させられるんですよ。POSTでアーティファクトを送ると、同じタスク・同じジャッジで採点されてリーダーボードに並ぶ。
これ地味にすごくて、自作エージェントの立ち位置が一発で分かるわけですから。
これ地味にすごくて、自作エージェントの立ち位置が一発で分かるわけですから。
テキトー教師DotAI 認定講師採点方式も2種類あります。客観的なルーブリック基準で採点する方法と、GDPval-AAやAA-Briefcaseで使われているペアワイズ判定を使う方法です。
ペアワイズの場合は、サンプルから好ましい回答を選ぶと、その選好を使ってテストセット全体でモデルをランク付けします。
ペアワイズの場合は、サンプルから好ましい回答を選ぶと、その選好を使ってテストセット全体でモデルをランク付けします。
室谷代表取締役ルーブリック採点は「正解が決まっているタスク」向き、ペアワイズは「どっちが好みか」という主観が入るタスク向き、という使い分けですね。
Optimaの使い方・始め方——3ステップで自社専用ベンチマークを作る手順
Optimaで自社専用ベンチマークを作る手順
- 01ステップ1:コンテキストを渡す①自ファイルやHugging Faceの評価データセットをアップロード、②Arize・Braintrust・Langfuseなどからエージェントトレースをインポート、③コーディング環境と過去セッションの文脈を使う「Optima skill」をインストール。ユースケースを説明し入出力例を添付するとビルドエージェントがタスクとルーブリックの下書きを作成(例:良い営業資料を2つ添付→5タスク・10基準を起草)
- 02ステップ2:評価タイプを選択タスクスタイルとしてQ&A(正解が既知の質問に答える)、ドキュメント入力(アップロードしたファイルについて答える)、エージェント型(ツールを使いながら成果物を作る)、インタラクション(異なるタイプのユーザーとの会話をシミュレートする)から選択
- 03ステップ3:モデル横断で実行同じタスク・同じ条件で全モデルを走らせ、トークン・コスト・時間をタスクごとに記録
- 04ステップ4:採点して判断実行結果を採点し、判断を行う
テキトー教師DotAI 認定講師ここは公式ページの流れに沿って整理しましょう。まずステップ1が「コンテキストを渡す」。
やり方を説明する、トレースをインポートする、コーディングエージェントを使う、の3通りが用意されています。
やり方を説明する、トレースをインポートする、コーディングエージェントを使う、の3通りが用意されています。
室谷代表取締役具体的には、①自ファイルやHugging Faceの評価データセットをアップロード、②Arize・Braintrust・Langfuseなどのプラットフォームからエージェントトレースをインポート、③コーディング環境と過去セッションの文脈を使う「Optima skill」をインストール、という選択肢ですね。
テキトー教師DotAI 認定講師もうひとつ、ユースケースを説明して入出力の例をいくつか添付すると、ビルドエージェントがタスクとルーブリックの下書きを作ってくれるルートもあります。公式ページの例では、良い出来の営業資料を2つ添付して「これが良い状態です」と伝えると、5タスク・10基準のベンチマークが起草されています。
室谷代表取締役この「良い例を数個貼れば基準を作ってくれる」というのは、現場の感覚に合っているんですよね。評価基準を文章で定義するのって、実はめちゃくちゃ難しいんですよ。
良い例を見せたほうが早い。
良い例を見せたほうが早い。
テキトー教師DotAI 認定講師ステップ2が評価タイプの選択です。タスクスタイルとして、Q&A（正解が既知の質問に答える）、ドキュメント入力（アップロードしたファイルについて答える）、エージェント型（ツールを使いながら成果物を作る）、インタラクション（異なるタイプのユーザーとの会話をシミュレートする）が示されています。
室谷代表取締役で、ステップ3がモデル横断の実行。同じタスク・同じ条件で全モデルを走らせて、トークン・コスト・時間がタスクごとに記録される。
最後にステップ4として採点して判断、という流れです。
最後にステップ4として採点して判断、という流れです。
テキトー教師DotAI 認定講師公式ページの例では、契約レビューのベンチマークが24タスク・4カテゴリで、リスク条項の指摘、支払条件の抽出、相手方サマリーの起草といったタスクが並んでいます。こういうのを見ると、法務系の実務に直結する粒度だなと分かりますね。
室谷代表取締役ちなみに既存の標準ベンチマークの話でいうと、Artificial Analysisの評価にはAutomationBench-AAというZapier開発のベンチマークもあります。657タスク・6業務領域で、GmailやGoogle Sheets、Slack、Salesforce、Zendesk、Jira、HubSpotなどの模擬環境を使うものですね。
テキトー教師DotAI 認定講師標準側もかなり作り込まれているわけです。ただ、それでも自社の契約書や自社の経費精算ルールそのものではない。
だからOptimaで自前化する価値が出てくるんですよ。
だからOptimaで自前化する価値が出てくるんですよ。
標準ベンチマークの限界と、カスタムベンチマークが必要な理由
室谷代表取締役ここが記事の核心なんですけど、公式ページの一文がすべてを言い表しているんですよ。「標準化されたベンチマークは一般的なモデル能力を測るが、自分の特定ユースケースにどのモデルが適しているかは教えてくれない」。
テキトー教師DotAI 認定講師構造化するとこうです。
- 標準ベンチマークは汎用能力の比較には有効だが、自社のタスク適合性は判断できない
- ベンチマークの構築と実行はそれ自体が困難で、専門的な知見と手間がかかる
- モデルは次々にリリースされるため、評価を継続的に更新する仕組みが必要
- 性能だけでなくコストと時間のトレードオフを見ないと、実運用の判断を誤る
室谷代表取締役3つ目と4つ目が実務では効いてくるんですよね。半年前に選んだモデルが、今も最適とは限らない。
しかも新しいモデルが出るたびに自前で評価し直すのは現実的じゃない。
しかも新しいモデルが出るたびに自前で評価し直すのは現実的じゃない。
テキトー教師DotAI 認定講師公式ブログには事前テスターの例が3つ載っています。ひとつは「財務・会計エージェントで、品質を大きく落とさずコストを10分の1にできるモデルはどれか」。
もうひとつが「法務エージェントで、弁護士の文体に最も合うモデルはどれか」。3つ目が「独自の画像データセットで要素を最もよく識別できるモデルはどれか」です。
もうひとつが「法務エージェントで、弁護士の文体に最も合うモデルはどれか」。3つ目が「独自の画像データセットで要素を最もよく識別できるモデルはどれか」です。
室谷代表取締役この3つ、評価の性質が全部違うのが面白いんですよ。1つ目はコスト最適化、2つ目は主観的な文体の一致、3つ目は画像の識別精度。
ルーブリックで測るものとペアワイズで測るものが混在している。
ルーブリックで測るものとペアワイズで測るものが混在している。
テキトー教師DotAI 認定講師そういう多様な評価をひとつのプラットフォームで扱えるのがOptimaの主張ですね。講座でも受講生さんから「結局どのモデルを選べばいいのか」という質問がすごく多いんですけど、この手のツールが出てくると答え方が変わってきますね。
室谷代表取締役ちなみにArtificial Analysisは、リリース後24時間以内のベンチマーク実施を目指すと公表しています。新モデルが出た直後に自分のベンチマークを回せる土台がある、というのは心強いです。
Optimaの料金——構築・実行と採点はどう課金されるのか
テキトー教師DotAI 認定講師料金体系は公式ページに明記されています。まずベンチマークの作成と実行は、使用したモデルの生のトークンコストで課金され、上乗せはありません。
室谷代表取締役ここは良心的というか、素直な設計ですよね。自前でAPIを叩いても同じだけトークン代はかかるわけで、その代わりに実行基盤と採点が付いてくる、という考え方です。
テキトー教師DotAI 認定講師採点はユニット単位の課金です。整理するとこうです。
| 採点方式 | 標準ジャッジ | プレミアムジャッジ |
|---|---|---|
| ルーブリック採点 | 基準・モデルあたり$0.002 | 基準・モデルあたり$0.040 |
| ペアワイズ採点 | マッチあたり$0.006 | マッチあたり$0.150 |
室谷代表取締役ルーブリック採点は選択したティアから1つのジャッジを使い、ペアワイズはジャッジパネル全体を使う、という違いもあります。標準は高能力モデル、プレミアムは実行コストが数倍かかるフロンティアモデル、と説明されています。
テキトー教師DotAI 認定講師課金の仕組みも細かく書かれていて、ベンチマーク作成の開始時と各実行の開始時に、その段階のコスト見積もりに基づいてクレジットを確保します。段階終了時には見積もりに関係なく実際に使ったトークン分だけが請求される仕組みです。
室谷代表取締役採点は逆の考え方で、提示されたレートは見積もりではなく価格そのもの。パス全体の見積もり額を確保したうえで、実際に判定した基準やマッチの分だけ課金されるので、採点パスが見積もりを超えることはなく、予定より少なく判定すれば安くなる、と。
テキトー教師DotAI 認定講師予算が読みやすい設計なのは助かりますね。なおArtificial Analysisの有料プランとしてはProが月額417ドル/席（年払いで984ドル節約）、Enterpriseがカスタム価格で150名以上向けと示されていますが、Optima自体の利用条件とプランの関係は資料上明確ではありません。
室谷代表取締役そこは現時点では明らかにされていない部分ですね。Optimaは提供開始済みとされていますが、プランとの紐付けは公式の案内を確認するのが確実です。
日本から使える？提供状況と利用開始のポイント
室谷代表取締役提供状況としては、Optimaは発表時点で「available today」、つまり提供開始済みと明記されています。公式ページからTry Optimaに進む導線が用意されています。
テキトー教師DotAI 認定講師日本からの利用可否について、公式ページに地域制限の記載は見当たりません。現時点では明らかにされていない、というのが正確なところですね。
室谷代表取締役支払い方法は公式FAQに記載があって、主要なクレジットカードに対応、Enterpriseは請求書払いも可能とされています。無料トライアルは現在提供していない、とも明記されています。
テキトー教師DotAI 認定講師なので始めるなら、まず小さなベンチマークを1つ作って、コスト感を確かめながら広げるのが現実的です。作成開始時に見積もりベースでクレジットが確保される仕組みなので、いきなり大きなデータセットを投げるより段階的に試すほうが安全ですね。
室谷代表取締役あと地味に嬉しいのが、Hugging Faceのデータセットをそのままアップロードできる点です。社内に評価データがまだ無い場合でも、公開データセットで練習してから自社データに移行する、という段取りが組めます。
テキトー教師DotAI 認定講師Optima活用例——法務・財務・画像認識でのモデル選定
室谷代表取締役活用例は公式ブログに事前テスターの事例として3つ挙がっています。まず財務・会計エージェント。
品質を大きく落とさずにコストを10倍削減できるモデルを探す、という命題です。
品質を大きく落とさずにコストを10倍削減できるモデルを探す、という命題です。
テキトー教師DotAI 認定講師これはまさにCost per Taskの出番ですね。スコアが数ポイント低くてもコストが桁で安いモデルなら、実運用ではそちらが正解になり得る。
判断材料が数字で揃うわけです。
判断材料が数字で揃うわけです。
室谷代表取締役2つ目が法務エージェントで、弁護士の文体に最も合うモデルを探すというもの。これは正解が一意に決まらないので、ペアワイズ判定の出番ですよね。
好みの回答を選んでいくと、その選好でランク付けされる。
好みの回答を選んでいくと、その選好でランク付けされる。
テキトー教師DotAI 認定講師3つ目が独自の画像データセットで要素を識別できるモデルの探索です。自社の画像資産に固有の識別課題を、そのままベンチマークにできるという例ですね。
室谷代表取締役公式ページのデモでは契約レビューのベンチマークが例示されていて、24タスク・4カテゴリで、リスク条項の指摘、支払条件の抽出、相手方サマリーの起草といったタスクが含まれています。こういうのを見ると、法務部門が自前で回す現実味が見えてきます。
テキトー教師DotAI 認定講師講座で受講生さんに伝えているのは「評価は目的ではなく意思決定の道具」ということなんですけど、Optimaはまさにその思想で作られていますよね。スコアを出すこと自体がゴールになっていない。
室谷代表取締役MYUUUでも、エージェントを組むときに「このタスクはどのモデルで回すか」を都度決めるんですけど、感覚で決めている部分がまだあります。それをベンチマークで裏付けて、しかもコストと時間まで並べて説明できると、社内の合意形成が全然違ってくるんですよね。
テキトー教師DotAI 認定講師あと見逃せないのが、自前のエージェントをHTTP経由で同じ実行に参加させられる点です。モデルだけでなく、自分のエージェント構成そのものを相対評価できる。
これはプロンプトやツール構成の改善効果を測るのにも使えますね。
これはプロンプトやツール構成の改善効果を測るのにも使えますね。
室谷代表取締役そうなんですよ。モデル選定の道具として紹介されがちですけど、実務的には「自作エージェントの現在地を測る物差し」としての価値がかなり大きいと思います。
よくある質問
テキトー教師DotAI 認定講師最後に、よく聞かれそうな点を整理しておきましょう。
室谷代表取締役まず「Optimaとは何か」。Artificial Analysisが提供する、自分のユースケース向けにカスタムベンチマークを構築・実行し、モデルの品質・コスト・時間を比較するプラットフォームです。
2026年8月13日に発表され、提供開始済みとされています。
2026年8月13日に発表され、提供開始済みとされています。
テキトー教師DotAI 認定講師「標準ベンチマークとの違いは」。標準ベンチマークは汎用的なモデル能力を測るもので、自分の特定ユースケースにどのモデルが合うかは分からない、と公式が明記しています。
Optimaは自社データやタスクを起点に評価セットを作るところが違います。
Optimaは自社データやタスクを起点に評価セットを作るところが違います。
室谷代表取締役「ベンチマークはどう作るのか」。3通りあって、自ファイルやHugging Faceのデータセットのアップロード、Arize・Braintrust・Langfuseなどからのエージェントトレースのインポート、コーディング環境の文脈を使うOptima skillのインストール。
加えてユースケースを説明して入出力例を添付すれば、Optimaがタスクとルーブリックを起草します。
加えてユースケースを説明して入出力例を添付すれば、Optimaがタスクとルーブリックを起草します。
テキトー教師DotAI 認定講師「料金はいくらか」。作成・実行はモデルの生トークンコストで上乗せなし。
ルーブリック採点は基準・モデルあたり$0.002（標準）/ $0.040（プレミアム）、ペアワイズ採点はマッチあたり$0.006（標準）/ $0.150（プレミアム）です。
ルーブリック採点は基準・モデルあたり$0.002（標準）/ $0.040（プレミアム）、ペアワイズ採点はマッチあたり$0.006（標準）/ $0.150（プレミアム）です。
室谷代表取締役「無料トライアルはあるか」。公式FAQでは現在提供していないと明記されています。
テキトー教師DotAI 認定講師「自前のエージェントも評価できるか」。できます。
HTTP経由で同じ実行に参加させ、同じジャッジで採点されます。
HTTP経由で同じ実行に参加させ、同じジャッジで採点されます。
室谷代表取締役「採点方式は選べるのか」。客観的なルーブリック基準か、GDPval-AAやAA-Briefcaseで使われているペアワイズ判定かを選べます。
ルーブリックは正解が決まるタスク、ペアワイズは好みの判断が入るタスクに向いています。
ルーブリックは正解が決まるタスク、ペアワイズは好みの判断が入るタスクに向いています。
テキトー教師DotAI 認定講師「日本から使えるか」。公式ページに地域制限の記載はなく、現時点では明らかにされていません。
支払いは主要クレジットカードに対応し、Enterpriseは請求書払いも可能とされています。
支払いは主要クレジットカードに対応し、Enterpriseは請求書払いも可能とされています。
室谷代表取締役というわけで、モデル選定を勘でやっている余裕がなくなってきたなかで、評価基盤をセルフサーブで持てる意味は大きいと思います。まずは小さなベンチマークから試してみるのがいいですよ。
