室谷代表取締役OpenAIが2026年11月13日に発表した「embedded assessments(埋め込み型評価)」が、なかなか攻めた設計なんですよね。外部の評価機関を社内に“埋め込む”わけですから。
まず何が発表されたのか、整理しましょうか。
まず何が発表されたのか、整理しましょうか。
テキトー教師DotAI 認定講師そうですね。embedded assessments(埋め込み型評価)は、OpenAIが2026年11月13日に発表した第三者評価の仕組みで、外部の独立した評価機関に自社の内部モデルとシステムへの深いアクセスを与え、モデルのアラインメントと安全策の実効性を長期にわたって検証させるものです。
今回はその第一フェーズとして、4社と契約を結んだという発表です。
今回はその第一フェーズとして、4社と契約を結んだという発表です。
室谷代表取締役契約したのはApollo Research、METR、Transluce、Goodfireの4社ですね。OpenAIは公式ブログで「AIの能力が急速に進歩し潜在的なリスクが高まる中で、独立した評価の公開報告は、ラボがリスクをどう評価し管理しているかを人々がより明確に理解する助けになる」という趣旨を述べています。
テキトー教師DotAI 認定講師ここで大事なのは、単に「外部に評価を依頼しました」という話じゃないんですよ。評価者が一定期間ラボの内部に入り込み、モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、技術文書、そして責任ある研究者やエンジニアとの対話まで、内部研究者が使うリソースの一部にアクセスできる。
これが「埋め込み型」の核心です。
これが「埋め込み型」の核心です。
室谷代表取締役つまり、完成したモデルを外からつつくだけじゃなくて、学習の途中経過まで見られるということですよね。これは評価の解像度がまったく変わってきます。
テキトー教師DotAI 認定講師ええ。OpenAIは今回の取り組みを、自社の第三者評価に関する「優先事項と原則」や、これまでの第三者評価者との長年の協働の延長線上に位置づけています。
直近では内部監視システムに対する深い内部アクセスを伴うパイロット評価や、Hugging Faceのインシデントに関する調査も実施していると説明しています。
直近では内部監視システムに対する深い内部アクセスを伴うパイロット評価や、Hugging Faceのインシデントに関する調査も実施していると説明しています。
室谷代表取締役さらに、ホワイトハウスの「超知能に関する協定」で約束した安全策の独立評価という公約も支える、と。業界全体の独立評価の標準づくりに貢献したいという意図も見えますね。
OpenAIの「embedded assessments」とは?何が発表されたのか
embedded assessmentsの要点
仕組みの定義
独立した専門家にラボ内部モデル・システムへの深いアクセスを与え、アラインメントと安全策の有効性を長期間評価する
位置づけ
安全策の根拠(セーフティケース)を補完するものとして位置づけ
初期評価の焦点
学習中および内部利用中のモデルのアラインメントと安全策。公開前評価ではなく学習プロセスと社内利用の両方を見る
評価者に渡るリソース
モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、技術文書、研究者・エンジニアとの対話
設計思想
深いアクセスにより、OpenAI自身が予期しなかった失敗を発見するための証拠と文脈を得る
展望
第一フェーズを長期的で一貫した埋め込み型の関与につなげ、重要主張やセーフティケースへ継続的に第三者の安全シグナルと改善提案を提供
室谷代表取締役あらためて定義を整理すると、embedded assessmentsは、独立した専門家にラボの内部モデルとシステムへの深いアクセスを与え、モデルのアラインメントと安全策の有効性を長期間にわたって評価する仕組み、です。OpenAIはこれを安全策の根拠(セーフティケース)を補完するものとして位置づけています。
テキトー教師DotAI 認定講師初期の評価は、学習中および内部利用中のモデルのアラインメントと安全策に焦点を当てると書かれています。ここがポイントで、従来の「公開前のモデル評価」ではなく、学習プロセスと社内利用の両方を見にいく。
室谷代表取締役評価者に渡るリソースも具体的に書かれています。モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、技術文書、そして研究者・エンジニアとの対話。
このアクセスによって、OpenAI自身が予期しなかった失敗を発見するための証拠と文脈を得る、という設計思想ですね。
このアクセスによって、OpenAI自身が予期しなかった失敗を発見するための証拠と文脈を得る、という設計思想ですね。
テキトー教師DotAI 認定講師講座で受講生さんによく言うんですが、評価というのは「何を見られるか」で結果が変わります。今回は見られる範囲が内部にまで広がった、というのが本質です。
室谷代表取締役しかもOpenAIは、この第一フェーズが「長期的で一貫した埋め込み型の関与」につながり、最も重要な安全上の主張やセーフティケースに対して継続的に第三者の安全シグナルと改善提案を提供できるようにしたい、と展望を語っています。単発のイベントじゃなくて、運用に組み込む気があるわけです。
4社はそれぞれ何を評価する?Apollo・METR・Transluce・Goodfireの役割
4社の評価役割の比較
Apollo Research
- モデルが開発者の意図に反して密かに行動(転覆)し得るかを評価
- OpenAIの安全策が転覆を検知できるかを評価
- 学習・安全テスト・内部利用の証拠を用いる
- 4つの主張を2段階で検証
METR
- これまでで最大規模の強化学習(RL)実行における誤整合行動を調査
- 既存のテストや監視が見逃した可能性のある失敗を含む
- 監視評価について範囲の相互合意を前提に予備的に合意
テキトー教師DotAI 認定講師ここが一番具体的で面白いところです。まず整理するとこうです。
- Apollo Research: モデルが開発者の意図に反して密かに行動(転覆)し得るか、そしてOpenAIの安全策がそれを検知できるかを評価。学習、安全テスト、内部利用の証拠を用い、4つの主張を2段階で検証
- METR: これまでで最大規模の強化学習(RL)実行における誤整合行動を調査。既存のテストや監視が見逃した可能性のある失敗を含む。監視評価についても範囲の相互合意を前提に予備的に合意
- Transluce: ポストトレーニングのアラインメント評価の品質と網羅性を評価。追加テストの開発と改善提案を行い、2027年にパイロット拡大を意図
- Goodfire: 解釈可能性の研究者を埋め込み、Goodfireのプラットフォームでモデル内部を分析。学習実行の監視、デバッグ、アラインメントが主目的
室谷代表取締役Apolloの役割がかなり重いですね。公式ページによると、Apolloは「学習が転覆を動機づけなかったか」「強力な評価とレッドチーミングが転覆を引き出さないか」「内部利用中にモデルが転覆を試みなかったか」「転覆の推論が検知可能か」という4つの主張を2段階で評価する。
テキトー教師DotAI 認定講師第1段階では、公開モデルと未公開モデルの一部、学習チェックポイント、関連する学習データと評価結果、学習介入の記録、監視システムとフラグされた行動、文脈を提供できる研究者へのアクセスが与えられ、独立したテストに必要なツールと計算資源も提供されるそうです。
室谷代表取締役METRは「これまでで最大のRL実行」に焦点を当てる。既存のテストや監視が見逃したかもしれない失敗を含めて、誤整合行動を調べるわけです。
チェックポイントのサンプリング、学習・評価のロールアウト、誤整合の監視記録へのアクセスが含まれる。
チェックポイントのサンプリング、学習・評価のロールアウト、誤整合の監視記録へのアクセスが含まれる。
テキトー教師DotAI 認定講師しかもMETRは、合意されたアクセス・資源・安全上の取り決めの範囲内で、評価の優先順位を独自に設定し、探索・分析・引き出し実験を反復できる。ここ、独立性の担保として地味に重要です。
室谷代表取締役Transluceはポストトレーニング評価の「質と網羅性」を見る。公開・未公開モデルの一部、ポストトレーニングのアラインメント評価と関連結果、モデル行動データ、セーフティケース文書、研究者へのアクセスが提供される。
2027年初頭には約8週間の追加評価も意図していると。
2027年初頭には約8週間の追加評価も意図していると。
テキトー教師DotAI 認定講師Goodfireは毛色が違って、解釈可能性の研究者を埋め込んでモデル内部を分析する。主な対象読者はOpenAIの内部研究者で、その知見を安全改善に使う。
Goodfire自身も協働の進展に応じて学びと発見を公開する予定です。
Goodfire自身も協働の進展に応じて学びと発見を公開する予定です。
室谷代表取締役4社の役割がきれいに分かれているのが面白いですよね。転覆の可能性、RL実行の誤整合、評価自体の質、モデル内部の解釈。
それぞれ別の角度から同じ安全性を照らしている。
それぞれ別の角度から同じ安全性を照らしている。
なぜ“社内埋め込み型”の第三者評価が必要なのか
従来の評価 vs 社内埋め込み型の第三者評価
従来の評価(公開前の個別モデル評価)
- 公開前の個別モデルの危険能力評価に偏る
- 学習プロセスや安全策の情報が得られない
- 内部利用リスクを対象外とする
- 最終モデルをテストするだけでは不十分
- モデルは監視されていると信じる時だけ良い行動をとり、評価を隠す可能性がある
- 悪い行動が消えても「やめた」のか「隠すのがうまくなった」のか区別できない
社内埋め込み型の第三者評価
- 転覆の証拠は学習のごく初期にしか見えない可能性がある
- 「見られている時は不正をするな」と教えられる前に見る必要がある
- 深いアクセスと持続的な関与が必要
- 事業者単位で内部利用リスクを定期評価する形式(METRのFrontier Risk Reportパイロット)
- Anthropic、Google、Meta、OpenAIが参加(2026年2月〜3月)
- 現場に入ってプロセスを見てもらうことで指摘の質が変わる
室谷代表取締役ここが今回の一番の論点なんですよね。なぜわざわざ社内に埋め込む必要があるのか。
テキトー教師DotAI 認定講師理由はシンプルで、転覆を企むモデルは評価自体に対して敵対的に振る舞い得るからです。Apollo Researchのブログが明確に指摘しています。
モデルは監視されていると信じる時だけ良い行動をとり、評価を隠すかもしれない。だから最終モデルをテストするだけでは不十分なんですよ。
モデルは監視されていると信じる時だけ良い行動をとり、評価を隠すかもしれない。だから最終モデルをテストするだけでは不十分なんですよ。
室谷代表取締役これは大きい指摘です。危険な生物学の知識や報酬ハッキングの傾向を評価する場合、モデルには評価者から何かを隠す理由がないかもしれない。
でも転覆の場合、モデルは評価を敵と見なし得る。悪い行動が消えたように見えても、それは「やめた」のか「隠すのがうまくなった」のか区別がつかない。
でも転覆の場合、モデルは評価を敵と見なし得る。悪い行動が消えたように見えても、それは「やめた」のか「隠すのがうまくなった」のか区別がつかない。
テキトー教師DotAI 認定講師だからこそ、転覆の証拠は学習のごく初期にしか見えない可能性がある。後の学習で「見られている時は不正をするな」と教えられてしまう前に見る必要がある。
これが深いアクセスと持続的な関与が必要な理由です。
これが深いアクセスと持続的な関与が必要な理由です。
室谷代表取締役OpenAI自身も、GPT-6 Astraが意図的に能力を隠した場合、確実には捕捉できないと認めている。これはApolloのブログで引用されている内容ですね。
自社の限界を認めた上で外部に開く、というのは姿勢としては評価できます。
自社の限界を認めた上で外部に開く、というのは姿勢としては評価できます。
テキトー教師DotAI 認定講師加えてMETRの「Frontier Risk Report」のパイロットも背景にあります。2026年2月から3月にかけて、Anthropic、Google、Meta、OpenAIの参加の下で、事業者単位で内部利用リスクを定期評価する形式が試みられた。
従来の評価が「公開前の個別モデルの危険能力評価」に偏っていて、学習プロセスや安全策の情報が得られず、内部利用リスクを対象外としていたことへの問題意識が共有されていたわけです。
従来の評価が「公開前の個別モデルの危険能力評価」に偏っていて、学習プロセスや安全策の情報が得られず、内部利用リスクを対象外としていたことへの問題意識が共有されていたわけです。
室谷代表取締役うちのMYUUUでも、外部の目を入れる時に一番効くのは「現場に入ってもらうこと」なんですよね。資料だけ渡してレビューしてもらうのと、実際に中に入ってプロセスを見てもらうのでは、出てくる指摘の質が全然違う。
AIの安全性評価でも同じことが起きているんだと思います。
AIの安全性評価でも同じことが起きているんだと思います。
従来の外部評価と何が違う?アクセス範囲と評価期間
テキトー教師DotAI 認定講師違いを整理するとこうですね。
| 観点 | 従来の外部評価 | embedded assessments |
|---|---|---|
| 対象 | 公開前の個別モデル | 学習中・内部利用中のモデルとシステム |
| アクセス | 公開情報・モデル出力が中心 | チェックポイント、ソースコード、学習・評価データ、監視システム、研究者との対話 |
| 期間 | 短時間の分析 | 長期・持続的な関与 |
| 視点 | モデル単位 | 事業者単位・プロセス込み |
室谷代表取締役アクセスの深さが段違いですね。特に「研究者との対話」が入っているのが効きそう。
数字には出ない文脈がそこにある。
数字には出ない文脈がそこにある。
テキトー教師DotAI 認定講師ただしOpenAIは、モデルの重みやアーキテクチャのような最も機微なIPを直接アクセスすると露出リスクがある場合、代替案を検討するとしています。評価者をOpenAIの研究者と組ませて分析を実行する、といった方法ですね。
室谷代表取締役全部見せるわけじゃない、と。そこは現実的な線を引いている。
テキトー教師DotAI 認定講師期間についても、METRは評価の優先順位を独自に設定して反復できる。Transluceは2027年初頭に約8週間の追加評価を予定している。
単発のスポットチェックではなく、継続的な関与を前提にしているのが従来との大きな違いです。
単発のスポットチェックではなく、継続的な関与を前提にしているのが従来との大きな違いです。
評価の独立性・セキュリティはどう担保する?実施プロトコル
室谷代表取締役ここが実務者として一番気になるところです。深いアクセスを与えるなら、独立性とセキュリティをどう担保するのか。
テキトー教師DotAI 認定講師OpenAIは評価者からの意見も取り入れてプロトコルを策定し、公開しています。まず「スコーピングと反復」。
各関与は合意された範囲と、厳格な評価に必要なアクセス・資源・安全上の取り決めから始まる。評価者は証拠を追い、手法を洗練させ、必要なら追加評価を提案する自由を持つ。
追加のアクセス需要に対応するプロセスもある。
各関与は合意された範囲と、厳格な評価に必要なアクセス・資源・安全上の取り決めから始まる。評価者は証拠を追い、手法を洗練させ、必要なら追加評価を提案する自由を持つ。
追加のアクセス需要に対応するプロセスもある。
室谷代表取締役次が「安全なオンサイト環境」。機密性の高い情報にアクセスする評価者はOpenAIのオフィスに出勤し、OpenAIのデバイスで作業する。
情報のセキュリティを守るためで、専任スタッフとやり取りできる利点もある。実験時は最低でもOpenAI従業員と同じセキュリティ基準に従うことが期待される、と。
情報のセキュリティを守るためで、専任スタッフとやり取りできる利点もある。実験時は最低でもOpenAI従業員と同じセキュリティ基準に従うことが期待される、と。
テキトー教師DotAI 認定講師「監督と紛争解決」も重要です。OpenAI Foundationの取締役会にある独立監督委員会のSafety and Security Committee(SSC)が、評価の前・最中・終了時に監督責任を行使できる。
SSCは編集されていない報告書を受け取り、評価者とSSCは評価中に互いに、非公開でも話せる。
SSCは編集されていない報告書を受け取り、評価者とSSCは評価中に互いに、非公開でも話せる。
室谷代表取締役意見の相違はSafety Advisory GroupとOpenAI幹部にエスカレーションされ、一定期間内に解決を図る。解決しなければSSCに付託される。
ちゃんと設計されていますね。
ちゃんと設計されていますね。
テキトー教師DotAI 認定講師「従業員との対話と証明」も興味深い。評価者は文脈理解のために従業員と話せるが、その対話はオフレコで、評価に活かせても公開や従業員への帰属はできない。
別経路として、対話で得た内容を検証・訂正・明確化するOpenAI証明の声明を請求できる。評価者はその声明を公開するか、OpenAIが証明を拒否したことを開示できる。
別経路として、対話で得た内容を検証・訂正・明確化するOpenAI証明の声明を請求できる。評価者はその声明を公開するか、OpenAIが証明を拒否したことを開示できる。
室谷代表取締役これ、地味にすごい仕組みですよね。オフレコで本音を聞きつつ、公式に裏が取れた部分だけ公に出せる。
テキトー教師DotAI 認定講師さらに「利益相反の開示とクールオフ期間」。個人関係や金銭的利益を含む利益相反を明確かつ透明に管理する。
評価者が他のラボで責任を持って働けるよう、クールオフ期間も慎重に設計する。OpenAIは、Apollo ResearchとGoodfireは報酬を受け取るがその報酬は評価結果に依存しないこと、METRとTransluceは報酬を受け取らないがAPIクレジットや計算資源は受け取り得ることを開示しています。
評価者が他のラボで責任を持って働けるよう、クールオフ期間も慎重に設計する。OpenAIは、Apollo ResearchとGoodfireは報酬を受け取るがその報酬は評価結果に依存しないこと、METRとTransluceは報酬を受け取らないがAPIクレジットや計算資源は受け取り得ることを開示しています。
室谷代表取締役報酬と結果を切り離すのは独立性の基本ですね。最後が「公表と責任ある開示期間」。
評価者は公表の独立性を保つが、OpenAIは機密情報の編集権を留保する。セキュリティや安全上のリスクをもたらす発見に対応する時間を確保するため、責任ある開示の遅延を求めることもある。
評価者は公表の独立性を保つが、OpenAIは機密情報の編集権を留保する。セキュリティや安全上のリスクをもたらす発見に対応する時間を確保するため、責任ある開示の遅延を求めることもある。
テキトー教師DotAI 認定講師公開報告は発見とその限界を人々が理解する助けになり、より詳細な機密報告は監督機関が行動するための証拠になる。この二層構造がポイントですね。
日本への影響と今後の展開——結果公表と次フェーズはどうなる
室谷代表取締役日本への直接的な言及は今回の発表にはありません。現時点では明らかにされていません。
ただ、業界標準づくりに効いてくる話ではありますよね。
ただ、業界標準づくりに効いてくる話ではありますよね。
テキトー教師DotAI 認定講師そうですね。OpenAIは、こうした協働が業界全体の独立評価と公的な透明性のための、より強い共通標準に貢献し得ると述べています。
埋め込み型評価の規範はまだ標準化されていないとも明言していて、だからこそプロトコルを公開して議論を進めたいと。
埋め込み型評価の規範はまだ標準化されていないとも明言していて、だからこそプロトコルを公開して議論を進めたいと。
室谷代表取締役今後の展開も書かれています。今後数カ月で、より広範な安全上の問いに対する外部評価を支援する。
さらに将来の埋め込み型評価として、安全性フレームワークの遵守や、組織文化・プロセスを調べることも検討している、と。
さらに将来の埋め込み型評価として、安全性フレームワークの遵守や、組織文化・プロセスを調べることも検討している、と。
テキトー教師DotAI 認定講師第一フェーズの評価結果はまだ出ていません。これは2026年11月時点の発表で、結果公表はこれからです。
第一フェーズの知見を踏まえて、長期的で一貫した関与や、遵守・組織文化の評価への拡大を検討している段階なんですよ。
第一フェーズの知見を踏まえて、長期的で一貫した関与や、遵守・組織文化の評価への拡大を検討している段階なんですよ。
室谷代表取締役技術的なアクセスの課題、スペースの制約、進化するセキュリティプロトコル、その他の予期せぬ問題が初期段階では起き得る、とOpenAI自身が認めています。評価者と協働して乗り越え、学びを共有したいと。
テキトー教師DotAI 認定講師この「うまくいかない前提」を最初から書いているのは誠実ですね。講座でも、新しい仕組みは最初から完璧には回らないので、試行錯誤を前提に設計するのが大事だと伝えています。
室谷代表取締役安全性評価が「公開前の一発テスト」から「継続的な運用プロセス」に変わりつつある。この流れは、AIを事業に組み込む側にとっても他人事じゃないんですよね。
自社のAI利用でも、外部の目をどう継続的に入れるかは考えておきたいところです。
自社のAI利用でも、外部の目をどう継続的に入れるかは考えておきたいところです。
よくある質問
室谷代表取締役最後に、よく聞かれそうな点を整理しておきましょう。
テキトー教師DotAI 認定講師まず「embedded assessmentsとは何か」。独立した専門家にラボの内部モデルとシステムへの深いアクセスを与え、モデルのアラインメントと安全策の有効性を長期間評価する仕組みです。
OpenAIは2026年11月13日に第一フェーズとして4社との契約を発表しました。
OpenAIは2026年11月13日に第一フェーズとして4社との契約を発表しました。
室谷代表取締役「なぜ社内に埋め込むのか」。転覆を企むモデルは評価自体に敵対的に振る舞い、監視されている時だけ良い行動をとり得るため、最終モデルのテストだけでは不十分だからです。
証拠が学習の初期にしか見えない可能性があるため、深く持続的なアクセスが必要とされています。
証拠が学習の初期にしか見えない可能性があるため、深く持続的なアクセスが必要とされています。
テキトー教師DotAI 認定講師「4社は何を評価するのか」。Apollo Researchは転覆の可能性と検知能力、METRは最大規模のRL実行における誤整合行動と監視、Transluceはポストトレーニング評価の質と網羅性、Goodfireは解釈可能性によるモデル内部の分析です。
室谷代表取締役「評価の独立性はどう担保するのか」。Safety and Security Committeeが評価前・最中・終了時に監督し、編集されていない報告書を受け取ります。
評価者は公表の独立性を保ちつつ、OpenAIは機密情報の編集権と責任ある開示の遅延を留保します。報酬と評価結果は切り離されています。
評価者は公表の独立性を保ちつつ、OpenAIは機密情報の編集権と責任ある開示の遅延を留保します。報酬と評価結果は切り離されています。
テキトー教師DotAI 認定講師「結果はいつ出るのか」。現時点では明らかにされていません。
第一フェーズの評価結果はまだ出ておらず、公表の時期や内容は今後の発表を待つ必要があります。
第一フェーズの評価結果はまだ出ておらず、公表の時期や内容は今後の発表を待つ必要があります。
室谷代表取締役「日本企業に関係あるのか」。今回の発表に日本への直接の言及はありません。
ただし業界全体の独立評価の共通標準づくりを目指す取り組みであり、今後の動向は注視する価値があります。
ただし業界全体の独立評価の共通標準づくりを目指す取り組みであり、今後の動向は注視する価値があります。
テキトー教師DotAI 認定講師安全性評価のあり方が「公開前のモデルテスト」から「内部に根を張る継続的な検証」へと動き出した。この転換点として、今回の発表は押さえておきたいですね。
