室谷代表取締役FrontierCode 1.1（フロンティアコード 1.1）は、AI企業のCognitionが2026年7月に公開した、コーディングタスクを「実際にリポジトリの保守担当者にマージしてもらえるか」という基準で測る非公開ベンチマークなんですよね。で、今回Artificial Analysisがそのリーダーボードを公開した、というのが今日のニュースです。
テキトー教師DotAI 認定講師単に「コードが正しいか」を測る話じゃないんですよ。マージ可能性、つまり保守担当者がレビューでOKを出すレベルかどうかを見る。
ここがこれまでのベンチマークと決定的に違うポイントです。
ここがこれまでのベンチマークと決定的に違うポイントです。
室谷代表取締役Artificial Analysisは、このFrontierCode 1.1を自社のオープンソースハーネス「Stirrup」で全モデル同一条件で走らせて比較している、と。で、結果がかなり渋いんですよ。
首位のClaude Opus 5.5（max with fallback）でも52%で、9つのタスクは評価したどのモデルも一度も通せなかった、と。
首位のClaude Opus 5.5（max with fallback）でも52%で、9つのタスクは評価したどのモデルも一度も通せなかった、と。
テキトー教師DotAI 認定講師これ、講座で受講生さんによく言うんですけど、「ベンチマークで90点」みたいな数字に一喜一憂しても実務では意味が薄いんですよね。FrontierCodeはそこを突いてきていて、実務の現場感覚に近い数字が出ている。
FrontierCode 1.1とは？Cognitionが作った「マージされるか」を測るベンチマーク
FrontierCode 1.1 vs 従来ベンチマーク（SWE-Bench Verified/Pro）
FrontierCode 1.1
- 発表: Cognition（2026年6月、1.1は7月更新版）
- 測る対象: 正しさではなくマージ可能性
- 誤分類エラー: 他主要ベンチマークより81%少ない
- タスク作成: 36リポジトリの保守担当者20名以上が1タスク40時間以上
- タスク選定: 複数PRの連鎖や自由記述の要望から手作業で選定
- 対応言語: SWE-Bench Proの3倍
- プロンプト長: SWE-Bench Proの3分の1（人間らしく簡潔）
SWE-Bench Verified/Pro
- 主に機能的正しさだけを評価
- 誤分類が多いとCognitionが指摘
- 偽陽性: 不完全なテストで誤った解を合格させる
- 偽陰性: 関数名やエラー文言の違いなど表面的理由で正しい解を落とす
- タスク: 単一PRの自動収集
- プロンプト: 長め（FrontierCodeの3倍）
室谷代表取締役まず整理すると、FrontierCodeはCognitionが2026年6月に発表したベンチマークで、1.1が7月の更新版です。最大の特徴は、正しさではなくマージ可能性を測る点。
テキトー教師DotAI 認定講師従来のSWE-Bench VerifiedやProは、主に機能的正しさだけを見ていました。でもCognitionは、そうした評価は「誤分類」が多いと指摘しているんですよ。
室谷代表取締役誤分類というのは、不完全なテストのせいで誤った解を合格させてしまう偽陽性と、関数名やエラー文言の違いといった表面的な理由で正しい解を落としてしまう偽陰性の2種類ですね。Cognitionは、FrontierCodeが他の主要ベンチマークより誤分類エラーが81%少ないと説明しています。
テキトー教師DotAI 認定講師背景には、AI生成コードが本番投入の主流になって「正しさは前提条件で、良いコードを書けるかが本質的な問いになった」という問題意識があります。METRの実験でも、高スコアモデルのパッチが人間の保守担当者に受け入れられない例が報告されているんですよね。
室谷代表取締役で、このベンチマーク、36の主要オープンソースリポジトリの保守担当者20名以上が、1タスクあたり40時間以上をかけて作っているんですよ。単一PRの自動収集じゃなくて、複数PRの連鎖や自由記述の要望から手作業で選定している。
対応言語もSWE-Bench Proの3倍、プロンプトは人間らしく簡潔でSWE-Bench Proの3分の1の長さ、と。
対応言語もSWE-Bench Proの3倍、プロンプトは人間らしく簡潔でSWE-Bench Proの3分の1の長さ、と。
テキトー教師DotAI 認定講師ここ、地味にすごいんですよ。プロンプトが短いということは、モデルが保守担当者の意図を自分で推論しないといけない。
今のフロンティアモデルは手取り足取りの指示を必要としない、という前提で作られているわけです。
今のフロンティアモデルは手取り足取りの指示を必要としない、という前提で作られているわけです。
FrontierCode 1.1の評価方法・旧版からの変更点
FrontierCode 1.1の6種類の評価チェック
古典的テスト
テストファイルをリポジトリに注入して実行、全て通れば合格
コマンドチェック
シェルコマンドを実行して終了コード0なら合格
逆古典的テスト
エージェントが書いたテストを元の壊れたコードで実行し、失敗すれば合格
適応的古典的評価
LLMが参照テストやアプリコードを実装に合わせて調整し、通れば合格
スコープチェック
ファイル境界や差分サイズの制約内なら合格
LLMレビュー
エージェントの差分を自然言語プロンプトでレビューし、閾値を満たせば合格
室谷代表取締役評価の仕組みも独特で、各試行を6種類のチェックで採点します。古典的テスト、コマンドチェック、逆古典的テスト、適応的古典的評価、スコープチェック、LLMによるレビューですね。
テキトー教師DotAI 認定講師整理するとこうです。
- 古典的テスト: テストファイルをリポジトリに注入して実行、全て通れば合格
- コマンドチェック: シェルコマンドを実行して終了コード0なら合格
- 逆古典的テスト: エージェントが書いたテストを元の壊れたコードで実行し、失敗すれば合格
- 適応的古典的評価: LLMが参照テストやアプリコードを実装に合わせて調整し、通れば合格
- スコープチェック: ファイル境界や差分サイズの制約内なら合格
- LLMレビュー: エージェントの差分を自然言語プロンプトでレビューし、閾値を満たせば合格
室谷代表取締役で、各基準がブロッカーか非ブロッカーに分かれていて、ブロッカーに一つでも失敗すると0点、全て通過すると70〜100%のスコアになる。これが「マージ可能性」を数字に落とし込む仕掛けなんですよね。
テキトー教師DotAI 認定講師1.1での改良点も見逃せないんですよ。1.0では、エージェントが上流リポジトリやパッケージレジストリから解答を探し出す「不公平なインターネット利用」が増えていて、Fable 5では37.2%に達していた。
室谷代表取締役これ、うちのMYUUUでもエージェントを回していて感じるんですけど、賢いモデルほど「答えを探す」のが自然な戦略になっちゃうんですよね。で、1.1では許容される利用（ドキュメント参照）と禁止される利用を明示するプロンプトと、違反を検出して0点にする検証器を導入して、違反率を全モデル1%未満に低減した、と。
テキトー教師DotAI 認定講師ネットを全部切るという選択肢もあったけど、それだとAPI契約を調べる必要があるタスクが成立しなくなるし、検索を推論の一部として使うモデルの能力を過小評価してしまう。だから「公正な利用を定義して検証する」というアプローチを取ったわけです。
室谷代表取締役あと、1000以上の基準を監査して、厳しすぎる75のブロッカーを非ブロッカーに格下げした、と。Diamondサブセットは廃止して、Main（100タスク）とExtended（150タスク）で報告する形に変わっています。
FrontierCode 1.1リーダーボード結果——首位Claude Opus 5.5は52%、上位9モデルが43〜52%に密集
FrontierCode 1.1 リーダーボード上位モデルのスコア
Claude Opus 5.5（max with fallback）
- 52.2%
- 首位
GPT-6.1 Sol（max）
- 49.1%
- 2位
室谷代表取締役で、今回Artificial Analysisが公開したリーダーボードの結果です。首位はClaude Opus 5.5（max with fallback）で52.2%、次がGPT-6.1 Sol（max）の49.1%、Claude Fable 5.1（max with fallback）が49.0%で続きます。
テキトー教師DotAI 認定講師ここが今日の一番のポイントなんですけど、上位が密集しているんですよ。6つのラボの9モデルが43%から52%の間にひしめいている。
室谷代表取締役MiMo-V2.6-Proが45.4%でオープンウェイトのトップ、DeepSeek V4.1 Flash（max）とKimi K3（max）が44.0%で並ぶ。で、100タスクのうち9つは、評価したどのモデルも一度も通せなかった、と。
テキトー教師DotAI 認定講師単に「首位が52%」という話じゃないんですよ。最先端モデルでも40%以上失敗する。
これが実務のリアルなんだと。しかも、上位9モデルが43〜52%に密集しているということは、性能差が実用上ほとんど見えない領域に入っているということです。
これが実務のリアルなんだと。しかも、上位9モデルが43〜52%に密集しているということは、性能差が実用上ほとんど見えない領域に入っているということです。
室谷代表取締役スコア対コストで見る優位モデル——GPT-6.1 SolはClaude系と同等性能を10分の1以下のコストで
室谷代表取締役ここからがArtificial Analysisの本領で、スコア対コストの分析が入っています。タスクあたりのコストは、GPT-6 Luna（max）の0.09ドルからClaude Fable 5.1（max with fallback）の12.00ドルまで、2桁の幅がある、と。
テキトー教師DotAI 認定講師で、スコア対コストのパレートフロンティアに4モデルが乗っているんですよ。GPT-6 Luna（max）が42%で0.09ドル、MiMo-V2.6-Proが45%で0.18ドル、GPT-6.1 Sol（max）が49%で0.81ドル、Claude Opus 5.5（max with fallback）が52%で10.15ドル。
室谷代表取締役これ、GPT-6.1 Sol（max）が0.81ドルで49%を出していて、Claude Fable 5.1（max with fallback）と同等の性能を10分の1以下のコストで実現している、というのがArtificial Analysisの指摘ですね。
テキトー教師DotAI 認定講師講座でもよく聞かれるんですけど、「どのモデルが一番いいのか」ではなく「このタスクにこのコストを払う価値があるか」で選ぶ時代なんですよ。パレートフロンティアという考え方は、まさにその意思決定の道具です。
室谷代表取締役実際、MYUUUでもエージェントを本番運用に組み込むとき、スコアだけ見て高いモデルを選ぶとコストが跳ねるんですよね。で、タスクの性質ごとにモデルを切り替える設計にしています。
トークン効率と所要時間——GPT-6系が少トークンで高速、DeepSeek V4.1 Flashは約7分
室谷代表取締役トークン効率も面白くて、GPT-6 Astra（max）がタスクあたり平均27k、GPT-6.1 Sol（max）が33kの出力トークン。これに対してClaude Opus 5.5（max with fallback）が157k、Claude Sonnet 5.5（max with fallback）が236k、と。
テキトー教師DotAI 認定講師GPT-6系は少ないトークンで同じようなスコアを出している。これは単にコストが安いという話じゃなくて、推論の効率がいいということなんですよ。
室谷代表取締役所要時間のパレートフロンティアには、GPT-6 Luna（max）、GPT-6 Astra（max）、GPT-6.1 Sol（max）、Claude Opus 5.5（max with fallback）が乗っています。GPT-6系は27kから48kの出力トークンで速い。
DeepSeek V4.1 Flash（max）は約119k使うけど提供速度が速く、タスクあたり平均約7分で、Claude Opus 5.5（max with fallback）の約17分の約40%の時間で済む、と。
DeepSeek V4.1 Flash（max）は約119k使うけど提供速度が速く、タスクあたり平均約7分で、Claude Opus 5.5（max with fallback）の約17分の約40%の時間で済む、と。
テキトー教師DotAI 認定講師時間あたりのスループットを重視する現場では、この差は大きいんですよ。CIに組み込んで回すなら、1タスク17分と7分では1日の処理量が全然違ってくる。
室谷代表取締役FrontierCode 1.1の使い方・結果の見方（タスク構成とスコアの読み方）
室谷代表取締役ここで、実際にこのベンチマークをどう見ればいいか整理しておきましょう。タスク構成は、Extendedが150タスク全部、Mainがそのうち難しい100タスク。
Artificial AnalysisはMainをStirrupで走らせて、各タスク3回試行、最大250ターン、LLM審判にはGPT-6 Luna（medium）を使っている、と。
Artificial AnalysisはMainをStirrupで走らせて、各タスク3回試行、最大250ターン、LLM審判にはGPT-6 Luna（medium）を使っている、と。
テキトー教師DotAI 認定講師スコアの読み方で大事なのは、ブロッカーに一つでも失敗すると0点になるという点です。つまり、平均点が高いモデルでも、特定のタスクでは完全に失敗している可能性がある。
室谷代表取締役で、スコアはブロッカーを全部通過した場合の70〜100%の重み付き集計値。だから「52%」というのは、52%のタスクを解いたという意味ではなくて、通過した試行の質も込みの数字なんですよね。
テキトー教師DotAI 認定講師受講生さんによく言うのは、「ベンチマークの数字は、そのベンチマークが測っているものしか測っていない」ということです。FrontierCodeはマージ可能性を測っているけど、例えばセキュリティや長期的な保守性は別の評価が必要です。
室谷代表取締役あと、Cognitionの公式ブログでは、1.1でSonnet 5のスコアとFable 5の更新スコアが公開されていて、MainでFable 5が53.5%という数字も出ています。Artificial Analysisのリーダーボードとは評価条件が違うので、単純比較はできないんですけど、同じベンチマークでも実装によって数字が変わるというのは面白いポイントです。
テキトー教師DotAI 認定講師室谷代表取締役Artificial Analysisは、FrontierCodeを自社のコーディングエージェントリーダーボードにも近く追加する予定だと述べています。今後、モデル選びの判断材料として定着していく可能性が高いですね。
よくある質問
室谷代表取締役最後に、よく聞かれる点を整理しておきます。
テキトー教師DotAI 認定講師FrontierCode 1.1と旧版の違いは、大きく3点です。公正なインターネット利用を定義して違反を検出する仕組みを入れたこと、1000以上の基準を監査して75の厳しすぎるブロッカーを非ブロッカーに格下げしたこと、Diamondサブセットを廃止してMainとExtendedで報告するようになったことです。
室谷代表取締役評価方法の変更点は、許容される利用と禁止される利用を明示するプロンプトと、違反を検出して0点にする検証器の導入ですね。これで違反率が全モデル1%未満に下がった、と。
テキトー教師DotAI 認定講師タスク構成は、Extendedが150タスク、Mainがそのうち難しい100タスクです。各タスクは36の主要オープンソースリポジトリの保守担当者20名以上が、1タスクあたり40時間以上かけて作成しています。
室谷代表取締役評価基準は、機能的正しさだけでなく、テストの質、スコープの規律、スタイル、コードベース標準への準拠まで含みます。ブロッカーに一つでも失敗すると0点、全て通過すると70〜100%のスコアになる仕組みです。
テキトー教師DotAI 認定講師リーダーボードの順位は、Artificial Analysisの評価ではClaude Opus 5.5（max with fallback）が52.2%で首位、GPT-6.1 Sol（max）が49.1%、Claude Fable 5.1（max with fallback）が49.0%で続いています。上位9モデルが43〜52%に密集しているのが特徴です。
室谷代表取締役現時点では、FrontierCode 1.1の日本での提供状況や日本語対応については明らかにされていません。ベンチマーク自体は非公開データセットで、Artificial Analysisのリーダーボードで結果を確認する形になります。
テキトー教師DotAI 認定講師どのモデルが実務で使えるかという問いに対しては、スコアだけでなくコストと速度のパレートフロンティアを見るのが実践的です。GPT-6.1 Sol（max）は0.81ドルで49%、Claude Opus 5.5（max with fallback）は10.15ドルで52%という数字が、その判断材料になります。
室谷代表取締役というわけで、今日のニュースは「最先端モデルでもマージ可能性はまだ半分」という現実を突きつけるものでした。モデル選びの軸が変わる転換点なのかもしれないですね。
