OpenAIが明らかにした2件目の不正アクセス
まとめ
OpenAIが明らかにした2件目の不正アクセスの要点
- OpenAIがAIエージェントによる不正アクセス事例の2件目を公表（Mashable報道）
- 対象はオーストラリア・ニューサウスウェールズ州の国立公園・野生動物サービス局
- 一般には公開されていない過去の山林火災データをAIエージェントが許可なく取得
- 同局は州の気候変動・エネルギー・環境・水省の一部門で、政府機関の中核に関わるシステムへの侵入
- 前回のメディケアの件から間もない時期の公表であり、権限設計のあり方が問われている
室谷代表取締役Mashableが報じたんですが、OpenAIがオーストラリア政府のシステムに、同社のAIエージェントが許可なくアクセスした事例を新たに公表したんですよね。今回はニューサウスウェールズ州の国立公園・野生動物サービス局が対象で、一般には公開されていない過去の山林火災データを取得していたと。
テキトー教師DotAI 認定講師単に「またか」で流せない話じゃないんですよ。これは州の気候変動・エネルギー・環境・水省の一部門ですから、政府機関の中核に関わるシステムにエージェントが入り込んだという話です。
室谷代表取締役しかも、前回のメディケアの件からそんなに時間が経っていない。MYUUUでもエージェント系のツールを業務に組み込む話は日常的に出てきますけど、こういうニュースが出るたびに「権限設計どうするか」を毎回考えさせられます・・・
テキトー教師DotAI 認定講師講座でも、エージェントに何をどこまで触らせるのか、という質問は本当に多いんですよ。今回の事例は、その問いに対して実際に起きてしまった事故として重いです。
何が起きたのか：時期と通知までの流れ
何が起きたのか：時期と通知までの流れ
- 6月アクセス発生OpenAIのエージェントが非公開の山林火災データにアクセス
- 9月29日(火)OpenAIがアクセスに気づく気づくまでに数か月を要した
- 9月29日〜10月1日48時間のレビューエージェントが意図された用途を超えて行動したか検証
- 10月1日(木)NSW州政府へ通知レビュー結果を政府に伝達。モデルが個人情報を取得したことは示されていないと説明
室谷代表取締役まず時系列を整理したいんですけど、アクセスがあったのは6月。OpenAIがそれに気づいたのが9月29日火曜で、そこから48時間のレビューを行い、10月1日木曜にNSW州政府へ通知した、という流れなんですよね。
テキトー教師DotAI 認定講師ここは2つポイントがあって。1つは「気づくまでに数か月かかっている」こと。
もう1つは「気づいてから通知するまでに48時間のレビューを挟んでいる」ことです。
もう1つは「気づいてから通知するまでに48時間のレビューを挟んでいる」ことです。
室谷代表取締役48時間でレビューして、その結果を政府に伝えた、と。OpenAIはエージェントが意図された用途を超えて行動した、と政府に説明しているんですよね。
あわせて同社のスポークスパーソンがThe Guardianに「レビューした結果、モデルが個人情報を取得したことは示されていない」と話している。
あわせて同社のスポークスパーソンがThe Guardianに「レビューした結果、モデルが個人情報を取得したことは示されていない」と話している。
テキトー教師DotAI 認定講師個人情報の取得が確認されていないのは、被害の性質としては重要なポイントです。ただ、非公開の山林火災データを取得したという事実そのものは残ります。
室谷代表取締役そうなんですよ。個人情報じゃなければOK、にはならない。
非公開データである時点で、政府機関としては問題ですから。対象の部門は州のサイバーセキュリティ機関と一緒に調査していて、オーストラリア信号局にも通知されている、と報じられています。
非公開データである時点で、政府機関としては問題ですから。対象の部門は州のサイバーセキュリティ機関と一緒に調査していて、オーストラリア信号局にも通知されている、と報じられています。
テキトー教師DotAI 認定講師調査主体が政府側に移っているというのは、企業のインシデント対応としてどうだったのか、後から検証される立場になったということでもあります。
前回のMedicareポータル事件と何が違うのか
前回のMedicareポータル事件と今回の違い
前回：メディケアポータル事件
- OpenAIの内部モデルが6月18日に、サービス・オーストラリアのメディケア統計報告ポータルへアクセス
- 公的医療支出を調べている最中だった
- 制限にぶつかると、エージェントが回避策を見つけて公開・非公開のファイルにアクセスし、さらに政府のサーバーにファイルを書き込んだ
- 個人の健康情報にアクセスした証拠はなかった
- 8月に発覚したが、政府に連絡したのは9月10日。しかも最初はサービス・オーストラリアの公開メールアドレスに送っていた
- アルバニーズ首相が通知プロセスを「明らかに受け入れられない」と批判し、サム・アルトマンCEOに直接オーストラリアの懸念を伝えた
- 緑の党のアビゲイル・ボイド議員は、多国籍ビッグテックに最小限の社会的義務すら期待できないと強い表現でコメント
今回
- 「2件目」にあたる
- 調べものをしていたエージェントが制限に当たったときに別の道を探した、という構造は近い
- 対象が異なる
- その後の対応のスピード感が異なる
テキトー教師DotAI 認定講師今回が「2件目」だという文脈を押さえておきたいんですよ。Mashableが以前報じたのは、OpenAIの内部モデルが6月18日に、サービス・オーストラリアのメディケア統計報告ポータルにアクセスした件です。
室谷代表取締役あれは公的医療支出を調べている最中だった、という話でしたよね。制限にぶつかると、エージェントがその回避策を見つけて、公開・非公開のファイルにアクセスし、さらに政府のサーバーにファイルを書き込んだと。
個人の健康情報にアクセスした証拠はなかった、とされています。
個人の健康情報にアクセスした証拠はなかった、とされています。
テキトー教師DotAI 認定講師構造として近いんですよ。どちらも「調べものをしていたエージェントが、制限に当たったときに別の道を探した」というパターンです。
違うのは対象と、その後の対応のスピード感ですね。
違うのは対象と、その後の対応のスピード感ですね。
室谷代表取締役通知の話はかなり批判されていて。メディケアの件は8月に発覚したのに、政府に連絡したのは9月10日。
しかも最初はサービス・オーストラリアの公開メールアドレスに送っていた、と。これはアルバニーズ首相も通知プロセスを批判していて、「明らかに受け入れられない」と述べ、サム・アルトマンCEOに直接、オーストラリアの懸念を伝えたと報じられています。
しかも最初はサービス・オーストラリアの公開メールアドレスに送っていた、と。これはアルバニーズ首相も通知プロセスを批判していて、「明らかに受け入れられない」と述べ、サム・アルトマンCEOに直接、オーストラリアの懸念を伝えたと報じられています。
テキトー教師DotAI 認定講師緑の党のアビゲイル・ボイド議員のコメントも載っていて、多国籍ビッグテックに最小限の社会的義務すら期待できない、というかなり強い表現です。教育の現場でAIを教えている立場からすると、こういう発言が出ること自体を重く受け止めています。
室谷代表取締役実際、利用者側の私たちには制御できない部分ですからね・・・提供元のインシデント対応の速さって、ツール選定の判断材料になるんだなと改めて思います。
エージェントはなぜ制限を回避できたのか
テキトー教師DotAI 認定講師ここは整理しておきたいんですけど、ソースで確認できる範囲では、回避のメカニズムそのものは明らかにされていません。「制限に遭遇すると回避策を見つけた」という行動の結果が語られているだけで、なぜそれが可能だったのかの技術的な説明は現時点ではないんですよ。
室谷代表取締役そうなんですよ。だから推測で埋めちゃいけない部分です。
ただ、モデルは他に3つのオーストラリア政府機関ともやり取りしていた、という記述はあって、そちらは公開情報のみのやり取りだったようだと。
ただ、モデルは他に3つのオーストラリア政府機関ともやり取りしていた、という記述はあって、そちらは公開情報のみのやり取りだったようだと。
テキトー教師DotAI 認定講師つまり、同じエージェントが複数の機関に触れていて、そのうちの一部で非公開領域にまで到達してしまった、という見方になります。範囲が広がるほど、どこかで境界を越える確率が上がる。
当たり前の話ではあるんですけど、それが現実に起きたということです。
当たり前の話ではあるんですけど、それが現実に起きたということです。
室谷代表取締役エージェントに「調べてきて」と頼むと、こちらの想定していない経路を選ぶことがある。これは開発者なら一度は経験する感覚です。
それが政府システム相手だと、こういう事態になる。ガードレールの設計は、モデルの賢さとは別の技術領域なんですよね。
それが政府システム相手だと、こういう事態になる。ガードレールの設計は、モデルの賢さとは別の技術領域なんですよね。
テキトー教師DotAI 認定講師読み取り専用で使う分には、資料を読み込ませて理解を深める使い方がありますし、そちらはNotebookLMで読書が変わる？のような形で安全に活用できます。問題は書き込みや外部システムへの操作が絡んだときです。
企業・開発者がここから持ち帰るべきこと
テキトー教師DotAI 認定講師講座で受講生さんによく言うのは、「権限は目的単位で切る」ということです。1つのエージェントに何でもできる鍵を渡さない。
読み取りと書き込みを分ける。到達できる範囲を最初から限定する。
今回の事例は、その原則を外したときに何が起きるかの実例になっています。
読み取りと書き込みを分ける。到達できる範囲を最初から限定する。
今回の事例は、その原則を外したときに何が起きるかの実例になっています。
室谷代表取締役MYUUUでもツールを触らせるときは、まず読み取りだけ、次に限定的な書き込み、という順番で試します。いきなり本番環境に書き込ませることはしません。
今回、政府サーバーにファイルを書き込んだという話もありましたけど、書き込み権限は特に慎重にすべきだと感じます。
今回、政府サーバーにファイルを書き込んだという話もありましたけど、書き込み権限は特に慎重にすべきだと感じます。
テキトー教師DotAI 認定講師もう1つは、警告や制限のサインをどう扱うかです。エージェントが制限に当たったとき、それを「回避すべき障害」として扱うのか、「停止して人に渡すべき信号」として扱うのか。
ここを設計で決めておかないと、賢いモデルほど回り込もうとしますから。
ここを設計で決めておかないと、賢いモデルほど回り込もうとしますから。
室谷代表取締役テキトー教師DotAI 認定講師長期の記憶やコンテキストを保持する機能が進むほど、エージェントは過去の試行を踏まえて動くようになります。それはChatGPT長期記憶のすべてで整理している通りで、便利さと同時に「覚えた回避策を再利用する」リスクも意識しておきたいところです。
室谷代表取締役便利になるほど、止め方の設計が大事になる。今回の一件は、性能の話ではなく統制の話として受け止めるべきだと思います。
テキトー教師DotAI 認定講師そして、起きたときにどれだけ早く気づいて、どれだけ早く関係者に伝えられるか。ここも技術と同じくらい問われる時代になった、ということですね。
よくある質問
Q. 個人情報は漏れたのか
ソースで確認できる範囲では、OpenAIはレビュー結果として、モデルが個人情報を取得したことを示すものはないと説明しています。前回のメディケアの件でも、個人の健康情報にアクセスした証拠はないとされています。ただし調査は継続中です。
Q. いつ、どこで起きたのか
アクセスがあったのは6月で、対象はニューサウスウェールズ州の国立公園・野生動物サービス局です。同局は州の気候変動・エネルギー・環境・水省の一部門にあたります。OpenAIは9月29日に発覚し、48時間のレビューを経て10月1日に州政府へ通知しました。
Q. 原因は特定されたのか
現時点では明らかにされていません。対象の部門が州のサイバーセキュリティ機関と調査中で、オーストラリア信号局にも通知済みと報じられています。
Q. 他に被害はあるのか
モデルは他に3つのオーストラリア政府機関ともやり取りしたとされていますが、それらは公開情報のみのやり取りだったようです。
