OpenAI、SWE-Bench Proを徹底監査 – 約30%のタスクに問題
室谷代表取締役皆さん、こんにちは。.AI（ドットエーアイ）の室谷です。
今日はOpenAIから衝撃的な発表がありました。コード評価ベンチマークのSWE-Bench Proを徹底的に監査した結果、なんと約30%のタスクに欠陥があることが判明したんです。
今日はOpenAIから衝撃的な発表がありました。コード評価ベンチマークのSWE-Bench Proを徹底的に監査した結果、なんと約30%のタスクに欠陥があることが判明したんです。
テキトー教師.AI認定講師室谷さん、これは大きなニュースですね。OpenAIは以前、SWE-bench Verifiedにも設計上の問題があると指摘して、コミュニティにSWE-Bench Proへの移行を呼びかけていました。
ところが、今度はそのSWE-Bench Pro自体にも広範な問題が見つかったという。まさに「ベンチマークの信頼性」そのものが問われる事態です。
ところが、今度はそのSWE-Bench Pro自体にも広範な問題が見つかったという。まさに「ベンチマークの信頼性」そのものが問われる事態です。
室谷代表取締役そうなんですよね。OpenAIは自社のPreparedness Frameworkに基づいて、モデルの安全性やデプロイ判断にベンチマークを使っています。
評価に欠陥があると、安全性の誤認や研究優先順位の歪みにつながる。だからこそ、徹底的な監査を行ったわけです。
評価に欠陥があると、安全性の誤認や研究優先順位の歪みにつながる。だからこそ、徹底的な監査を行ったわけです。
テキトー教師.AI認定講師具体的にどの程度の割合で問題があったのか、数字を見てみましょう。
室谷代表取締役はい。OpenAIの発表によると、データポイント分析パイプラインで27.4%（200タスク）が問題ありと判定され、人間によるアノテーションでは34.1%（249タスク）が該当したそうです。
そして全体として「約30%のタスクが壊れている」と推定しています。
そして全体として「約30%のタスクが壊れている」と推定しています。
テキトー教師.AI認定講師これは結構な割合ですよね。ベンチマークのスコアが上昇しても、それが本当にモデルの能力向上を反映しているのか、それともテストが緩いのか、判別が難しくなります。
SWE-Bench Proとは？ – より現実的なコーディングベンチマーク
室谷代表取締役そもそもSWE-Bench Proって何なのか、おさらいしておきましょう。SWE-Bench Verifiedの後継として設計された、ソフトウェアエンジニアリング能力を評価するベンチマークです。
より長期間のタスクや現実的なコーディングタスクを含み、エージェント型のコーディング能力を測る目的がありました。
より長期間のタスクや現実的なコーディングタスクを含み、エージェント型のコーディング能力を測る目的がありました。
テキトー教師.AI認定講師単にコードを生成するだけでなく、複数ステップの推論やツール操作が必要な、いわゆる「エージェント的」な能力を評価するわけですね。タスクは公開・非公開のリポジトリから、実際の機能変更履歴をプログラム的に収集しています。
モデルは新しいテストをパスする実装をしつつ、既存の機能を壊さないように求められます。
モデルは新しいテストをパスする実装をしつつ、既存の機能を壊さないように求められます。
室谷代表取締役その731タスクの公開セットで、最先端モデルの合格率は8ヶ月で23.3%から80.3%に急上昇していました。この伸びが本当に能力向上を反映しているのか、それともベンチマーク自体の問題なのか。
OpenAIはそこを疑問に思ったんですね。
OpenAIはそこを疑問に思ったんですね。
テキトー教師.AI認定講師なぜ監査が必要だったのか？ – 精度と安全性のジレンマ
室谷代表取締役OpenAIがここまで徹底的に監査した背景には、安全性への強いこだわりがあります。Preparedness Frameworkの下では、モデルの能力を正確に測定することが必須です。
過小評価すれば安全だが機会損失、過大評価すれば安全でないモデルをリリースするリスクがある。
過小評価すれば安全だが機会損失、過大評価すれば安全でないモデルをリリースするリスクがある。
テキトー教師.AI認定講師まさにジレンマですね。特にコード生成の分野は、バグやセキュリティホールを生む可能性があるので、正確な評価が重要です。
SWE-Bench Proの問題点を放置すれば、モデルが「できる」と思われてリリースされ、実際には使えないという事態になりかねません。
SWE-Bench Proの問題点を放置すれば、モデルが「できる」と思われてリリースされ、実際には使えないという事態になりかねません。
室谷代表取締役それに、ベンチマークの数字が一人歩きすると、研究開発の優先順位も歪みます。テストをパスするために特化したモデル作りに注力してしまう。
本来の目的は実用的なソフトウェア開発能力の向上のはずですから。
本来の目的は実用的なソフトウェア開発能力の向上のはずですから。
監査の手法：人間による高品質レビュー
室谷代表取締役では、どうやって監査したのか。OpenAIは「データポイント分析パイプライン」というものを開発しました。
これはモデルがタスクに取り組んだ結果やメタデータ、失敗トレースを分析して、評価の欠陥を自動でフラグ付けする仕組みです。
これはモデルがタスクに取り組んだ結果やメタデータ、失敗トレースを分析して、評価の欠陥を自動でフラグ付けする仕組みです。
テキトー教師.AI認定講師その後、フラグが立ったタスクは複数の調査エージェントパスで評価され、さらに5人の経験豊富なソフトウェアエンジニアが独立してレビューした。意見が割れた場合はさらに上位で検討したそうです。
かなり厳格なプロセスですね。
かなり厳格なプロセスですね。
室谷代表取締役人間によるアノテーションキャンペーンも並行して行われています。結果として、パイプラインは27.4%、人間アノテーションは34.1%のタスクに問題を発見しました。
この差は、自動パイプラインでは見落としがちな問題も人間なら拾えるということを示しています。
この差は、自動パイプラインでは見落としがちな問題も人間なら拾えるということを示しています。
テキトー教師.AI認定講師エージェントを使った品質チェックの有用性も示唆されていますが、最終的には人間の判断が必要という。まさに「AIと人間の協業」の良い例ですね。
判明した問題とその影響 – ベンチマークの信頼性に疑問
室谷代表取締役問題は主に4つのカテゴリーに分類されました。具体的に見ていきましょう。
テキトー教師.AI認定講師整理するとこうです。
| 問題カテゴリ | 説明 | パイプライン検出率 | 人間アノテーション検出率 |
|---|---|---|---|
| 過度に厳格なテスト（Overly strict tests） | プロンプトで指定されていない実装詳細を強制し、機能的に正しい回答を無効にする | 14.4% | 17.8% |
| 不十分なプロンプト（Underspecified prompts） | 隠しテストが要求する要件を省略しており、合理的に推論できない | 4.1% | 9.4% |
| 低カバレッジのテスト（Low-coverage tests） | 要求された機能を十分にチェックしないため、不完全な修正でもパスする | 6.3% | 7.5% |
| 誤解を招くプロンプト（Misleading prompts） | モデルを間違った動作に導くか、テストと矛盾する | 1.9% | 1.2% |
| その他（Miscellaneous issues） | 上記以外の問題 | 0.6% | 0.8% |
室谷代表取締役特に「過度に厳格なテスト」が最多で、全体の約14～18%を占めています。これは、実装の細かい部分まで指定していないのに、ある特定の書き方しか受け付けないテストがあるということです。
コードレビューでよくある「想定解と違うから減点」みたいな話ですね。
コードレビューでよくある「想定解と違うから減点」みたいな話ですね。
テキトー教師.AI認定講師「不十分なプロンプト」も厄介です。人間が見れば「これってテストが何を求めているかわからない」というタスクがある。
モデルが推論できずに間違えるのは仕方ない。こうした問題があると、スコアが実際の能力より低くなったり高くなったりします。
モデルが推論できずに間違えるのは仕方ない。こうした問題があると、スコアが実際の能力より低くなったり高くなったりします。
室谷代表取締役OpenAはこうした問題を踏まえて、「公平だが厳しいベンチマークを作ることの難しさ」を指摘しています。そして、エージェントを使ったスケーラブルなデータ品質チェックの有用性も強調している。
テキトー教師.AI認定講師この結果、これまでSWE-Bench Proのスコアを元にした評価や比較は、ある程度割り引いて見る必要がありますね。特に、Claude Codeのようなエージェント型ツールの性能評価にも影響するでしょう。
関連記事としてClaude CodeとGitHubの連携完全ガイドも参考になります。
関連記事としてClaude CodeとGitHubの連携完全ガイドも参考になります。
今後の評価のあり方 – コミュニティへの示唆
室谷代表取締役最後に、この監査結果が業界に与える示唆について話しましょう。OpenAIは単に問題を指摘するだけでなく、ベンチマークの改善に向けた方向性も示しています。
テキトー教師.AI認定講師一つは、単一のベンチマークに依存しないこと。複数の評価軸（コード品質、セキュリティ、実行効率など）や人間によるレビューを組み合わせる必要があります。
もう一つは、ベンチマーク自体のメンテナンスが重要だということです。タスクが古くなったり、モデルが過学習したりするので、定期的な監査と更新が欠かせません。
もう一つは、ベンチマーク自体のメンテナンスが重要だということです。タスクが古くなったり、モデルが過学習したりするので、定期的な監査と更新が欠かせません。
室谷代表取締役また、今回の監査手法自体が興味深いです。エージェントによる自動チェックと人間のレビューを組み合わせることで、効率的かつ高品質な監査が可能になる。
これは他のベンチマークにも応用できるでしょう。
これは他のベンチマークにも応用できるでしょう。
テキトー教師.AI認定講師私たちも講座でよく言いますが、「AIの評価を評価する」視点が大事です。ベンチマークの数字を盲信せず、その背後にある前提や限界を理解する。
今回の発表はその重要性を改めて教えてくれました。
今回の発表はその重要性を改めて教えてくれました。
室谷代表取締役そうですね。特にビジネスでAIを導入する際には、ベンダーが提示するベンチマークスコアをそのまま信じるのではなく、自社のユースケースで検証することが不可欠です。
例えばClaude Code Maxの料金比較なども参考になりますが、やはり実運用での評価が重要です。
例えばClaude Code Maxの料金比較なども参考になりますが、やはり実運用での評価が重要です。
テキトー教師.AI認定講師最後に、OpenAIはこの結果を踏まえて、SWE-Bench Proの改善に協力するようコミュニティに呼びかけています。今後のアップデートに注目したいですね。
よくある質問
Q: SWE-Bench Proとは何ですか？ A: SWE-Bench Proは、ソフトウェアエンジニアリング能力を評価するベンチマークで、SWE-bench Verifiedの後継として設計されました。より長期・現実的なタスクを含み、エージェント型のコーディング能力を測定します。
Q: なぜSWE-Bench Proに問題があるとわかったのですか？ A: OpenAIがデータポイント分析パイプラインと人間のエンジニアレビューによる詳細な監査を実施し、約30%のタスクに過度に厳格なテストや不十分なプロンプトなどの問題があることを発見しました。
Q: この監査結果は、AIモデルのコード能力評価にどのような影響を与えますか？ A: SWE-Bench Proのスコアだけを信頼するのは危険であり、複数の評価軸や実務での検証が必要です。ベンチマークの数値は割り引いて解釈すべきという教訓が得られました。
Q: OpenAIは今後どのような対応をするのですか？ A: 現時点では明らかにされていませんが、コミュニティに対してベンチマーク改善への協力を呼びかけています。
出典
- OpenAI公式ブログ: 「Separating signal from noise in coding evaluations」
