FrontierCode 2.0とは？Cognitionが2026年10月27日に公開した新ベンチマーク
FrontierCodeシリーズの歩みと評価の進化
- 2026年6月FrontierCode 1.0 登場「そのPRを実際にマージするか？」という新しい問いを立てた
- 2026年7月FrontierCode 1.1 登場
- 2026年10月27日FrontierCode 2.0 公開Cognitionが公開。「マージするだけでなく、マージすべきか？」を問う
- 評価の変遷機能的正しさ → マージ可能性 → マージすべきか既存ベンチマークは仕様準拠（機能的正しさ）を測り飽和。FrontierCodeは本番リポジトリへのマージ可能性、2.0では保守者の判断に耐えるかを評価
室谷代表取締役FrontierCode 2.0（フロンティアコード 2.0）は、Devinの開発元であるCognitionが2026年10月27日に公開したコーディングAIモデル向けのベンチマークなんですよね。ベンチマークっていうのは、モデルの実力を公平に測るための共通テストのことです。
テキトー教師DotAI 認定講師そうなんですよ。しかもこれは「コードが動くか」を測るだけのテストじゃないんです。
FrontierCodeシリーズは、そのコードが実際に本番リポジトリへマージされる品質かどうか、つまりマージ可能性（mergeability）を測る点が特徴で。1.0が2026年6月、1.1が7月に登場して、今回が2.0版という流れですね。
FrontierCodeシリーズは、そのコードが実際に本番リポジトリへマージされる品質かどうか、つまりマージ可能性（mergeability）を測る点が特徴で。1.0が2026年6月、1.1が7月に登場して、今回が2.0版という流れですね。
室谷代表取締役Cognitionは公式ブログで、エージェント型ソフトウェアエンジニアリングはまだ解決していないと書いていて。モデルはユーザー意図の推論や、明示されていない制約の尊重、変更の長期的な影響の予測が苦手だと指摘しているんです。
テキトー教師DotAI 認定講師そこが今回のベンチマークの出発点なんですよ。既存のベンチマークは、詳細に仕様化されたプロンプトへの準拠、つまり機能的な正しさを主に測っていて、すぐ飽和しちゃう。
飽和というのは、みんな高得点になって差がつかなくなる状態ですね。
飽和というのは、みんな高得点になって差がつかなくなる状態ですね。
室谷代表取締役公式スレッドでは「Most coding evals measure a model's ability to write code that meets a spec（ほとんどのコーディング評価は仕様を満たすコードを書く能力を測る）」とした上で、FrontierCode 1.0では「そのPRを実際にマージするか？」という新しい問いを立てたと。2.0ではさらに進んで「マージするだけでなく、マージすべきか？」を問うところまで来たわけです。
テキトー教師DotAI 認定講師この一歩は大きいですよ。単に「動くコードを書けるか」から「保守者の判断に耐えるか」へ、評価のものさしが移ったということですから。
FrontierCode 2.0でわかること――「マージできるか」から「マージすべきか」へ
FrontierCode 2.0が測る3つの軸
機能的正しさ
機能が正しく動作するか
初期プロンプトの解釈と拡張
ユーザーの初期プロンプトをどう解釈し拡張するか
設計・スコープの選択
実装と既存コードベースへの統合に向けた妥当な設計・スコープの選択
室谷代表取締役ここが今回の一番面白いところなんですけど、2.0の目玉はunderspecified prompts、つまり仕様不足のプロンプトなんですよね。すべてのエンジニアリング上の判断をプロンプトに書くのではなく、あえて曖昧にして、モデルが判断力を示す余地を与えていると。
テキトー教師DotAI 認定講師単に曖昧にしただけじゃない話じゃないんですよ。Cognitionは、理想的なコーディングエージェントは非公式な仕様を受け取って、仕様とそれが含意する制約や選好の両方を満たす行動を見つけ、ユーザーの盲点を考慮して、何度も修正や確認をさせずに実行すべきだと書いているんです。
室谷代表取締役つまり、人間の開発者が「いい感じにやっておいて」と言われたときに、リポジトリの慣習を読み取って、既存の抽象化を再利用して、バグを捕まえるテストまで書く。そういう動きができるかを見たいわけです。
テキトー教師DotAI 認定講師そこで2.0が測るのが、機能的正しさ、ユーザーの初期プロンプトの解釈と拡張、そして実装と既存コードベースへの統合に向けた妥当な設計・スコープの選択。この3つを軸に据えているんです。
室谷代表取締役MYUUUでもコードを書く場面は多いですけど、レビューで止まるのはだいたい「動かない」からじゃなくて「これはこのリポジトリの流儀じゃない」とか「触らなくていいところまで変えてる」なんですよね。まさにそこを見ている。
テキトー教師DotAI 認定講師講座でも受講生さんに「まず既存コードの書き方を読もう」と伝えるんですが、それをモデルに求めるベンチマークになったということです。
FrontierCode 2.0の評価方法――仕様不足プロンプトとメンテナー共同設計のタスク
まとめ
FrontierCode 2.0の評価方法の要点
- 20人以上の世界クラスのオープンソース開発者が、自身がメンテナンスするリポジトリから現実的で多様で難しいタスクを作成(1タスクあたり40時間以上)
- メンテナー自身がそのリポジトリでの「マージ可能」の定義を決める
- ルーブリック採点の主観性対策として、敵対的テスト・キャリブレーション・多段階レビューを含む品質管理パイプラインを構築し、全タスクをCognitionの研究者が手作業でレビュー
- マージ可能性は6軸で評価: 機能的正しさ/回帰の安全性/機械的なクリーンさ/テストの正しさ/スコープ/コード品質
- reverse-classical: エージェントが書いたテストを元の壊れたコードベースで実行し、ちゃんと失敗するかを確認
- adaptive classical grading: LLMで参照テストやアプリケーションコードを実装に合わせて調整し、関数名やエラー文言の違いで正しい解が落ちるのを防ぐ
- ネット利用はドキュメント閲覧やエラーメッセージ検索は許可、元のプルリクエストのような解答を含む情報源を参照した実行は検出して0点(公平性の担保)
室谷代表取締役タスクの作り込みがすごいんですよ。公式ページによると、20人以上の世界クラスのオープンソース開発者が、自分がメンテナンスするリポジトリから現実的で多様で難しいタスクを作っていて、1タスクあたり40時間以上を費やしていると。
テキトー教師DotAI 認定講師しかもメンテナー自身が「マージ可能」の定義をそのリポジトリで決めるわけです。ルーブリック採点は主観的になりがちなので、敵対的テストやキャリブレーション、多段階レビューを含む品質管理パイプラインを組み、全タスクをCognitionの研究者が手作業でレビューしていると。
室谷代表取締役評価の観点も整理されていて。公式ブログでは、機能的正しさ、回帰の安全性、機械的なクリーンさ、テストの正しさ、スコープ、コード品質という複数の軸でマージ可能性を測ると書かれています。
テキトー教師DotAI 認定講師ここは箇条書きで整理しておきましょう。
- 機能的正しさ：そのパッチは問題を解決しているか
- 回帰の安全性：既存コードベースを壊していないか
- 機械的なクリーンさ：ビルド・lint・スタイルチェックを通るか
- テストの正しさ：エージェントが書いたテストは望ましい挙動を捉えているか
- スコープ：必要なところだけを触っているか
- コード品質：慣習や設計パターンに沿い、読みやすいか
室谷代表取締役面白いのがreverse-classicalという手法で。エージェントが書いたテストを元の壊れたコードベースで実行して、ちゃんと失敗するかを確かめるんです。
失敗しないテストは意味がないからですね。
失敗しないテストは意味がないからですね。
テキトー教師DotAI 認定講師あとadaptive classical gradingという、LLMを使って参照テストやアプリケーションコードを実装に合わせて調整する仕組みも入れている。関数名やエラー文言の違いで正しい解が落ちてしまうのを防ぐためです。
室谷代表取締役ネット利用の制限もあって。エンジニアがするようにドキュメントを読んだりエラーメッセージを検索したりするのは許すけど、元のプルリクエストのような解答を含む情報源を参照した実行は検出して0点にすると。
テキトー教師DotAI 認定講師そこは公平性の担保として大事ですね。
FrontierCode 2.0のスコアランキング――Opus 5.5が45.5%で首位、GPT-6.1 Solはコスパ最強
室谷代表取締役で、みんなが気にするスコアなんですけど。公式リーダーボードではOpus 5.5が45.5%で首位、GPT-6 Astraが42.8%で2位、Sonnet 5.5が41.0%で3位、GPT-6.1 Solが39.0%で4位という並びなんですよね。
テキトー教師DotAI 認定講師コストも一緒に見るのが2.0のポイントで。Opus 5.5は1ロールアウトあたり平均12.82ドル、GPT-6 Astraが6.68ドル、Sonnet 5.5が19.94ドル、GPT-6.1 Solが1.03ドルという数字が公式ページに出ています。
室谷代表取締役ここで公式スレッドのコスト対性能の整理を見ておきたいですね。
テキトー教師DotAI 認定講師スレッドでは、Opus 5.5とGPT-6 Astraが知能面でリードし、平均コストはそれぞれ12.8ドルと6.67ドル。GPT-6.1 Solがコスト効率でリードし、1タスク1.03ドルで39%。
GPT-6 LunaとHaiku 5.5が総コストでリードし、1タスク0.50ドル未満で20%超というグループ分けが示されています。
GPT-6 LunaとHaiku 5.5が総コストでリードし、1タスク0.50ドル未満で20%超というグループ分けが示されています。
室谷代表取締役リーダーボードの詳細も見ると、Haiku 5.5が27.7%で0.37ドル、GPT-6 Lunaが21.9%で0.17ドルですからね。安いモデルで20%台を出すというのは、実務での使い分けを考えるとかなり現実的な数字です。
テキトー教師DotAI 認定講師オープンソース勢の差もはっきり出ていて。中国のOSSモデルはKimi K3とGLM 5.3が17%台、米国のOSSモデルであるBeamやInklingは3%前後と、スレッドでも大きく後れていると書かれています。
室谷代表取締役ここは冷静に見たいところで。ベンチマークの順位がそのまま製品の優劣になるわけではないですけど、Cognitionが「オープンソースモデルには改善の余地が大きい」と明言しているのは事実として押さえておきたいですね。
テキトー教師DotAI 認定講師ちなみにGPT-6.1 SolについてはGPT-6.1 Sol Ultrafastとは？でも関連情報を扱っていますが、今回のFrontierCode 2.0の数字はあくまでCognitionの公式リーダーボードのものとして読むのが正確です。
FrontierCode 1.1やDeepSWE v1.1との違い――順位が入れ替わる理由と未飽和の意味
室谷代表取締役ここが記事として一番伝えたいところなんですけど、2.0は1.1よりもモデルの階層を明確に分離するんですよ。ただ、順位は同じではないと。
テキトー教師DotAI 認定講師スレッドでも「DeepSWE v1.1ではMuse Wonder 1.0とGemini 4 Argonが最高スコアだが、FrontierCode 2.0では中位に沈む」と書かれています。ベンチマークによって順位が入れ替わる、というのは評価軸が違うという証拠ですね。
室谷代表取締役公式ブログの比較表を見ると、1.1から2.0への変化がわかりやすいんです。Opus 5.5が54.6%から45.5%、GPT-6 Astraが53.3%から42.8%、Grok 4.7が47.6%から28.6%、Gemini 4 Argonが47.5%から26.3%、Muse Wonder 1.0が47.0%から24.3%、SWE-2が50.0%から23.9%、DeepSeek V4.1 Flashが43.9%から19.3%、Kimi K3が44.2%から17.7%と、軒並み下がっているんです。
テキトー教師DotAI 認定講師これは難易度が上がったということですよね。タスクの多様性、採点基準、スコープのすべてが強化されているわけですから。
室谷代表取締役具体的には、タスクの対象リポジトリが55%増、ブロッキング基準が43%増、参照解は平均でファイル67%増・行数89%増、コードベースは25%増と公式ブログに書かれています。
テキトー教師DotAI 認定講師しかも2.0では「網羅性（thoroughness）」の基準が大幅に増えていて。ブロッキング基準のカテゴリ別件数を見ると、Thoroughnessが168から501へ約3倍に増えているんです。
室谷代表取締役網羅性の例がまた絶妙で。プロンプトでは1つのコードパスでバグが報告されているけど、同じバグが兄弟パスにも存在する。
網羅性のあるエージェントは両方見つけて直すべきだ、という基準なんですよ。
網羅性のあるエージェントは両方見つけて直すべきだ、という基準なんですよ。
テキトー教師DotAI 認定講師もう一つの例は、新しい機能追加で1つの入力型に言及されているけど、類似コードが他の入力型も扱っていることに気づいて、それもサポートするかどうか。まさに「言われてないけど、わかるでしょ」を測っているわけです。
室谷代表取締役失敗率のデータも興味深くて。カテゴリ別のブロッカー失敗率は、Thoroughnessが1.1の11.7%から2.0では19.2%に上がっていて、Core behaviorも9.5%から14.9%に上がっている。
一方でScopeは9.0%から3.8%に下がっているんです。
一方でScopeは9.0%から3.8%に下がっているんです。
テキトー教師DotAI 認定講師スコープ基準は1.0のとき物議を醸したと。プロンプトを超えた変更が全体としてコードを良くしている可能性もあるという解釈があって、実際に調べると驚くほど妥当な解もあった。
だから2.0ではスコープ基準を緩めた、という経緯なんです。
だから2.0ではスコープ基準を緩めた、という経緯なんです。
室谷代表取締役これは1.1の課題でもあって。推論努力を上げるとスコープ違反が増えてスコアが上下する、いわゆるジグザグした挙動があったんですよね。
2.0ではスコープ基準を緩めて、改善された監査と合わせて、推論努力と性能の曲線が本当の回帰を測っていると自信を持てるようになったと。
2.0ではスコープ基準を緩めて、改善された監査と合わせて、推論努力と性能の曲線が本当の回帰を測っていると自信を持てるようになったと。
テキトー教師DotAI 認定講師未飽和というのも重要なポイントです。トップのOpus 5.5でも45.5%で、まだ半分に届いていない。
つまりこの評価軸はまだ伸びしろがあって、しばらくモデル選びの指標として使えるということです。
つまりこの評価軸はまだ伸びしろがあって、しばらくモデル選びの指標として使えるということです。
室谷代表取締役ちなみに1.0のブログでは、SWE-Bench Proと比べて誤分類（偽陽性）を81%低減したと主張していました。このあたりの設計思想はClaude 4.0完全ガイドのようなモデル比較の読み方にも通じるものがありますね。
FrontierCode 2.0が示す実務への示唆――開発現場でモデルをどう選ぶか
室谷代表取締役じゃあ実務でどう使うか、なんですけど。まず言えるのは、最高スコアのモデルが常に正解ではないということですよね。
Opus 5.5は45.5%で首位ですけど、1ロールアウト12.82ドル。GPT-6.1 Solは39.0%で1.03ドルですから、コストあたりの性能はまったく違う。
Opus 5.5は45.5%で首位ですけど、1ロールアウト12.82ドル。GPT-6.1 Solは39.0%で1.03ドルですから、コストあたりの性能はまったく違う。
テキトー教師DotAI 認定講師講座でも受講生さんに「タスクの性質でモデルを選ぼう」と伝えているんですが、まさにその材料になるデータです。複雑で設計判断が要るタスクは上位モデル、定型的で量をこなすタスクは安価なモデルという使い分けが、数字で裏づけられているわけです。
室谷代表取締役MYUUUでも、がっつり設計を考えるときと、ちょっとした修正を量産するときでモデルを変えることがあるんですけど、まさにその感覚と合うデータが出てきたなと。
テキトー教師DotAI 認定講師もう一つの示唆は、ベンチマークの順位だけでモデルを決めないことですね。DeepSWE v1.1とFrontierCode 2.0で順位が入れ替わるというのは、何を測るかによって評価が変わるということですから。
自社のタスクに近い評価軸のベンチマークを見るべきです。
自社のタスクに近い評価軸のベンチマークを見るべきです。
室谷代表取締役あと、このベンチマークが「マージすべきか」を問うということは、逆に言えば人間のレビューがまだまだ必要な領域が可視化されたということでもあるんですよね。トップモデルでも半分以上はブロッカーに引っかかるわけですから。
テキトー教師DotAI 認定講師そこは冷静に。ベンチマークが示すのはあくまで評価時点のスナップショットで、実際のリポジトリの慣習やチームの好みまでは完全には反映されません。
過信せず、レビュー体制とセットで使うのが現実的です。
過信せず、レビュー体制とセットで使うのが現実的です。
室谷代表取締役テキトー教師DotAI 認定講師あと、公式ページのリーダーボードはモデルごとに推論努力のレベルをまたいだ実行を線でつないでいて、最も効率的なモデルが左上に来るようになっているんです。この読み方を知っておくと、コストと性能のトレードオフが一目でわかりますよ。
室谷代表取締役タスクの例も象徴的で。Mock Service WorkerのresetHandlers()がジェネレーターを再起動しないバグを、Opus 5.5は修正するんだけど、ジェネレーターへの参照を捨てるからユーザーのfinallyブロックのクリーンアップが走らない。
プロンプトには書かれていないけど、経験あるJavaScript開発者なら期待する挙動を満たせていない、というわけです。
プロンプトには書かれていないけど、経験あるJavaScript開発者なら期待する挙動を満たせていない、というわけです。
テキトー教師DotAI 認定講師これ、まさに「動くけどマージすべきじゃない」の典型例ですよね。公式ページではOpus 5.5が全推論努力レベルで0/5だったと記録されています。
室谷代表取締役そういう意味では、このベンチマークはモデルの限界を測る鏡でもあるわけです。現時点で明らかにされていない部分もありますが、Cognitionは引き続きリーダーボードを更新していくはずなので、今後の推移を追いかけたいですね。
よくある質問
室谷代表取締役最後に、よく聞かれる点を整理しておきますか。
テキトー教師DotAI 認定講師まず「FrontierCode 2.0はいつ公開されたか」ですが、Cognitionが2026年10月27日に公開しています。1.0が2026年6月8日、1.1が2026年7月7日ですから、約3か月でのメジャー更新ですね。
室谷代表取締役「どこで見られるか」は、Cognitionの公式サイトのFrontierCode Leaderboardと、公式ブログのFrontierCode 2.0のページです。ブログではサンプルタスクも共有されています。
テキトー教師DotAI 認定講師「何を測るベンチマークか」は、マージ可能性です。機能的正しさだけでなく、回帰の安全性、テストの正しさ、スコープ、コード品質まで含めて、保守者がマージするかどうかを評価します。
2.0ではさらに「マージすべきか」という判断まで問う設計になっています。
2.0ではさらに「マージすべきか」という判断まで問う設計になっています。
室谷代表取締役「1.1との違いは」という点では、タスクの対象リポジトリが55%増、ブロッキング基準が43%増、参照解のファイル数67%増・行数89%増、コードベース25%増。網羅性の基準が約3倍に増え、スコープ基準は緩和されています。
テキトー教師DotAI 認定講師「どのモデルが優れているか」は、公式リーダーボードでOpus 5.5が45.5%で首位、GPT-6 Astraが42.8%、Sonnet 5.5が41.0%、GPT-6.1 Solが39.0%です。コスト効率ではGPT-6.1 Solが1タスク1.03ドルで39.0%と際立っています。
室谷代表取締役「料金は」という質問については、公式ページに1ロールアウトあたりの平均USD支出がリストAPI価格ベースで公開 discounts込みで示されています。モデルごとの具体的な料金体系は各提供元の情報を確認する必要があります。
テキトー教師DotAI 認定講師「日本で使えるか」については、FrontierCode 2.0はベンチマークであり、モデルそのものを提供するものではありません。評価対象のモデルの提供状況は各社の発表によりますので、現時点では明らかにされていません。
室谷代表取締役というわけで、FrontierCode 2.0は「動くか」から「マージすべきか」へと評価軸を進めた、2026年10月時点でかなり意欲的なベンチマークです。モデル選びの参考にしつつ、過信せずレビューとセットで使っていきたいですね。
