ARC-AGI-3とは？AIの推論力を測る新たなベンチマーク
室谷代表取締役みなさん、こんにちは。今日はちょっと衝撃的なニュースが飛び込んできました。
OpenAIがARC-AGI-3っていうベンチマークで、APIの設定を変えただけでスコアが3倍になったっていう報告なんですよね。
OpenAIがARC-AGI-3っていうベンチマークで、APIの設定を変えただけでスコアが3倍になったっていう報告なんですよね。
テキトー教師DotAI 認定講師ええ、これは面白いですね。ARC-AGI-3って聞き慣れない方も多いと思うんですが、簡単に言うと「AIがどれだけ未知のルールを推論できるか」を測るベンチマークなんです。
2次元のパズルゲームみたいなもので、エージェントが明示的な指示なしにゲームのルールを推測しながら動く必要がある。
2次元のパズルゲームみたいなもので、エージェントが明示的な指示なしにゲームのルールを推測しながら動く必要がある。
室谷代表取締役そうです。もともとARC（Abstraction and Reasoning Corpus）というベンチマークの第三世代で、2025年くらいに公開されたんですけど、これがめちゃくちゃ難しい。
人間は平均で48%のスコアを出すんですが、フロンティアモデルはほとんど解けない。
人間は平均で48%のスコアを出すんですが、フロンティアモデルはほとんど解けない。
テキトー教師DotAI 認定講師しかもARC-AGI-3は「インタラクティブ」な点が特徴で、エージェントが環境とやり取りしながら学習する。純粋な静的パターン認識ではなく、試行錯誤と適応が求められる。
室谷代表取締役そこでOpenAIがどう対応したか。まずはその発表内容を見てみましょう。
「保持推論」と「コンパクション」がもたらした劇的な改善
室谷代表取締役OpenAIのブログによると、GPT-5.6 SolはARC-AGI-3の公開タスクセットで、公式ハーネスを使うと13.3%だったスコアが、保持推論とコンパクションを有効にした独自ハーネスでは38.3%に跳ね上がったんです。スコアはRelative Human Action Efficiency（RHAE）という指標で、人間の行動効率を基準にした値です。
出力トークン数も6分の1に削減された。
出力トークン数も6分の1に削減された。
テキトー教師DotAI 認定講師これは驚きですね。保持推論（Retained Reasoning）は、モデルが過去の推論ステップを保持し続ける設定で、コンパクション（Compaction）は推論過程の冗長トークンを圧縮する。
これらはChatGPTやCodexで既に使われている設定だそうで、APIでも有効にできる。
これらはChatGPTやCodexで既に使われている設定だそうで、APIでも有効にできる。
室谷代表取締役さらにGPT-5.5は公式ハーネスで0.4%しか取れなかったのが、保持推論とコンパクションを入れると遊べるようになったらしい。具体的なスコアは明かされてないけど、劇的な改善があったんだろうな。
テキトー教師DotAI 認定講師つまり、モデル自体の性能というより、API設定やハーネス設計が結果を大きく左右するという実例ですね。ベンチマークはモデル単体を測るものじゃなくて、そういう「見えない設定」も同時に測ってしまう。
室谷代表取締役まさにそこが今回のポイント。OpenAIは公式スレッドで「ベンチマークはAIモデルを孤立して測定することはほとんどない。
API設定、ハーネス設計、プロンプトといった目に見えない選択も測定している」と述べています。
API設定、ハーネス設計、プロンプトといった目に見えない選択も測定している」と述べています。
公式ハーネスとOpenAI独自ハーネスの違い
室谷代表取締役ここで肝になるのが、ARC-AGI-3が提供する公式ハーネスと、OpenAIが今回使ったResponses APIのハーネスとの違いです。
テキトー教師DotAI 認定講師まずARC-AGI-3の公式ハーネスは意図的に「汎用的な」設計になっています。ツールや特殊機能はなし。
ARC側の論理としては、シンプルなハーネスにすることでモデルの弱点が露呈しやすくなり、モデル間の比較が公平になる。
ARC側の論理としては、シンプルなハーネスにすることでモデルの弱点が露呈しやすくなり、モデル間の比較が公平になる。
室谷代表取締役一方で、商用の開発者、つまりOpenAIなどは、各モデルの特徴やクセに合わせてハーネスを最適化する。今回OpenAIは、Responses APIという自社のAPIを使って、保持推論とコンパクションという2つの機能をオンにしたわけです。
テキトー教師DotAI 認定講師公式ハーネスでもこれらの設定を有効にできなくはないんでしょうか？
室谷代表取締役公式ハーネスは標準的なAPIコールを想定していて、そういった拡張機能を前提としていない。実際、保持推論やコンパクションはOpenAIのプロプライエタリな機能で、公式ハーネスがサポートしていない。
だから「ハーネスの違い」がそのままスコア差になっている。
だから「ハーネスの違い」がそのままスコア差になっている。
テキトー教師DotAI 認定講師つまり、同じモデルでも評価の仕方でスコアが3倍も変わるというのは、ベンチマークの意義そのものを問い直す話ですね。モデルAがモデルBより優れている、と単純に言えなくなる。
室谷代表取締役そうなんです。例えば、これまでARC-AGI-3のリーダーボードでは、どのフロンティアモデルも最初のレベルすら解けないとされていました。
でもOpenAIのハーネスを使えば、GPT-5.6 Solはすべてのレベルをクリアできる。この差は大きい。
でもOpenAIのハーネスを使えば、GPT-5.6 Solはすべてのレベルをクリアできる。この差は大きい。
この発見が示すこと：API設定の隠れた影響力
室谷代表取締役この発見は、AIベンチマークを解釈する際の注意点を浮き彫りにしました。単純に「モデルが◯点取った」という数字だけを見て判断するのは危険なんですよね。
テキトー教師DotAI 認定講師そうですね。特にAPI設定やハーネス設計といった「評価のインフラ」が結果に大きく影響する。
これは僕の講座でもよく話すんですが、同じモデルでもプロンプトや設定を変えるだけで性能が激変する。今回のケースはそれが極端に出た。
これは僕の講座でもよく話すんですが、同じモデルでもプロンプトや設定を変えるだけで性能が激変する。今回のケースはそれが極端に出た。
室谷代表取締役さらに、OpenAIはGPT-5.6 SolがARC-AGI-3で低スコアだったことに当初困惑したと言います。だって同モデルはサイクル二重被覆予想という数学の未解決問題を解いたり、ポケモンファイアレッドを攻略したりしている。
2Dパズルが特別苦手なのか、別の原因があるのか。
2Dパズルが特別苦手なのか、別の原因があるのか。
テキトー教師DotAI 認定講師そして見つけたのが、保持推論とコンパクションの欠如だった。つまり、デフォルトのAPI設定では、モデルが過去の推論を覚えていない、あるいは推論過程が長すぎてトークン制限に引っかかっていた可能性がある。
室谷代表取締役設定一つでこんなに変わるというのは、AI開発者にとっては重要な教訓です。APIの高度な機能を活用することで、モデルの真価を引き出せる。
テキトー教師DotAI 認定講師一方で、ベンチマークの公平性という観点からは、公式ハーネスのシンプルさには意味があります。でも、商用利用を考えると、各社が自社に最適化した設定で評価するのも当然。
このあたりは今後の議論が必要ですね。
このあたりは今後の議論が必要ですね。
室谷代表取締役実際、ARC-AGI-3の設計者も「意図的にシンプルなハーネスを採用した」と述べています。しかし、OpenAIのように自社の強みを活かした設定で高いスコアを出すと、それが「モデル性能」として受け取られる恐れがある。
テキトー教師DotAI 認定講師よくある質問（FAQ）
室谷代表取締役では、読者の方からよくある質問に答えていきましょう。
テキトー教師DotAI 認定講師はい、まず「ARC-AGI-3とは何か？」です。
-
Q: ARC-AGI-3とは何ですか？ A: ARC-AGI-3は、AIエージェントの学習能力と推論能力を測定するためのベンチマークです。エージェントは未知の2Dゲームを探索し、明示的な指示なしにルールを推測します。25のデモゲームが公開されています。
-
Q: 今回の発表でOpenAIはどのモデルを使いましたか？ A: 主にGPT-5.6 SolとGPT-5.5を使いました。GPT-5.6 Solは公式ハーネスで13.3%、独自ハーネスで38.3%のスコアを記録しました。GPT-5.5は公式ハーネスで0.4%でしたが、独自ハーネスでは改善しました。
-
Q: 人間と比べてどうですか？ A: 人間の平均スコアは約48%と推定されています。GPT-5.6 Solの独自ハーネスでの38.3%はまだ人間には及びませんが、大きな前進です。
-
Q: 「保持推論」と「コンパクション」とは何ですか？ A: 保持推論はモデルが過去の推論ステップを保持し続ける機能、コンパクションは推論過程の冗長トークンを圧縮する機能です。両方を有効にすることで、スコアが3倍、出力トークンが6分の1になりました。
-
Q: この結果は他のベンチマークにも影響しますか？ A: 可能性はあります。同様にAPI設定やハーネス設計に依存するベンチマークでは、スコアが変わるかもしれません。今回の発見は、ベンチマーク評価の透明性の重要性を示しています。
室谷代表取締役
