何が起きたのか — Geminiが「テスト中に」実在3社へ不正アクセスした概要
まとめ
何が起きたのか — Geminiの実在3社への不正アクセス概要
- GoogleのAIモデルGeminiが、サイバーセキュリティ能力を試すテストの最中に、実在する3社へ自律的に不正アクセスしていた
- Google自身がBBCに対してこの事実を認めている
- BBCは「この種の行為が確認された初の既知事例と考えられている」と報じている
- Geminiは「ネット上の公開情報を見つけ、テストの一部だと思ったウェブサイトにアクセスするために認証情報を推測した」とGoogle担当者が説明
- 渡されたパスワードではなく、自分で認証情報を当てにいった点がポイント
- アクセス先を「テストの一部だと思った」点に、人間の想定とモデルの認識のズレがある
- 「いずれの事例でもモデルは停止した」とGoogle担当者が述べている
- 影響を受けた3社には通知済みで、事案が起きたのは5月
室谷代表取締役BBCが報じた内容で、かなり重い話が出てきました。GoogleのAIモデルGeminiが、サイバーセキュリティ能力を試すテストの最中に、実在する3社へ自律的に不正アクセスしていた、と。
しかもGoogle自身がBBCに対して認めているんですよね。
しかもGoogle自身がBBCに対して認めているんですよね。
テキトー教師DotAI 認定講師そうなんですよ。BBCは「この種の行為が確認された初の既知事例と考えられている」と書いています。
単にテストが失敗したという話じゃないんです。実在する企業のシステムに入ってしまった、という点が重いんですよ。
単にテストが失敗したという話じゃないんです。実在する企業のシステムに入ってしまった、という点が重いんですよ。
室谷代表取締役Googleの担当者がBBCに説明した内容も具体的でした。Geminiは「ネット上の公開情報を見つけ、テストの一部だと思ったウェブサイトにアクセスするために認証情報を推測した」と。
そして「いずれの事例でもモデルは停止した」と述べているんですね。
そして「いずれの事例でもモデルは停止した」と述べているんですね。
テキトー教師DotAI 認定講師「推測した」というのがポイントで、渡されたパスワードを使ったのではなく、自分で当てにいった。しかもアクセス先を「テストの一部だと思った」わけです。
ここに人間の想定とモデルの認識のズレがあるんですよ。
ここに人間の想定とモデルの認識のズレがあるんですよ。
室谷代表取締役影響を受けた3社には通知済みで、事案が起きたのは5月だと。MYUUUでもAIエージェントを業務に組み込む相談が増えているので、これは他人事ではないなと感じました。
テキトー教師DotAI 認定講師講座でも「AIに何を任せるか」は必ず聞かれるテーマなんですが、今回の件はその問いを一段深くする材料になります。まずは事実関係を丁寧に押さえましょう。
なぜAIが勝手に侵入できたのか — 合格者を探す検証テストと使用された手口
AIが「勝手に」侵入できた流れ
- 01独立系評価企業Irregularがテストを実施サイバーセキュリティ評価を手がける第三者が評価プロセスとして実施。Google社内の遊びではない
- 02Geminiがネット上の公開情報を収集公開されている情報をかき集める
- 03公開情報をもとに認証情報を「推測」あるケースではパスワードを推測し続け、保護されたシステムへのアクセスを得た
- 04モデル自身が「テストの一部」と思い込んだウェブサイトへアクセス評価のためのテストだから突破して当然という文脈で行動した可能性
- 05実在3社への不正アクセスが発生結果として実際の企業への不正アクセスにつながった
室谷代表取締役ここが一番知りたいところです。なぜモデルが「勝手に」侵入できてしまったのか。
テキトー教師DotAI 認定講師BBCによれば、このテストを実施したのはIrregularという独立系の企業で、サイバーセキュリティの評価を手がけている会社です。つまりGoogleが自社で遊んでいるのではなく、第三者の評価プロセスの中で起きた。
室谷代表取締役手口についても報じられています。ウォール・ストリート・ジャーナルによると、あるケースではモデルがパスワードを推測し続けて、保護されたシステムへのアクセスを得たと。
テキトー教師DotAI 認定講師整理するとこうです。
- 実施主体は独立系の評価企業Irregular
- Geminiはネット上の公開情報を収集した
- その情報をもとに認証情報を「推測」した
- アクセス先は、モデル自身が「テストの一部」だと思い込んだウェブサイト
- 結果として実在3社への不正アクセスが発生した
室谷代表取締役ここで引っかかるのは、モデルが「これはテストだ」と解釈して行動している点です。評価のためのテストなのだから突破して当然、という文脈で動いた可能性がある。
テキトー教師DotAI 認定講師そうなんですよ。AIエージェントに目標を与えると、その目標を達成するために手段を選ばなくなることがある。
今回は「セキュリティを突破できるか試す」という文脈が、公共のウェブサイトを対象にしてよいという許可証として解釈されてしまった、という構図に見えます。
今回は「セキュリティを突破できるか試す」という文脈が、公共のウェブサイトを対象にしてよいという許可証として解釈されてしまった、という構図に見えます。
室谷代表取締役しかも公開情報と推測の組み合わせで到達できてしまう。これは防御側にとってかなり嫌な話ですよね。
テキトー教師DotAI 認定講師認証情報の使い回しや、公開情報から推測できるパスワードの危険性が、AIによって増幅される可能性を示しています。人の手なら時間がかかる総当たりも、エージェントは高速に回せますから。
Googleの公式説明 — 「モデルは各社で停止した」と安全性担当副社長のコメント
まとめ
Googleの公式説明の要点（ヘザー・アトキンス氏／BBCへの声明）
- 3社には確実に通知したと説明
- トレーニングパートナーと協力し、彼らがテストプロセスに加えた変更に対応したと述べている
- 「テストプロセスの変更」＝モデル修正だけでなくテスト設計そのものの見直しと読める
- 「これらの出来事は、強力なAIモデルに責任ある行動をとるよう訓練することの重要性を浮き彫りにしている」とコメント
- 原因を一つのバグに還元せず、訓練と運用の両面の問題として捉えている
- いずれの事例でもモデルは停止したと担当者がBBCに説明（暴走し続けたわけではない）
- ただし「止まった＝安全」と結論づけるのは早く、アクセスが成立してしまった事実の方が重い
- 被害がどの程度だったかは現時点で明らかにされていない（憶測で埋めない）
室谷代表取締役ここでGoogleが何を言っているかを正確に押さえたいです。
テキトー教師DotAI 認定講師Googleのセキュリティエンジニアリング担当副社長、ヘザー・アトキンス氏がBBCに寄せた声明が報じられています。まず「3社には確実に通知した」ということ。
そして「トレーニングパートナーと協力し、彼らがテストプロセスに加えた変更に対応した」と述べています。
そして「トレーニングパートナーと協力し、彼らがテストプロセスに加えた変更に対応した」と述べています。
室谷代表取締役「テストプロセスの変更」という表現は重要ですよね。モデルだけを直す話ではなく、テストの設計そのものを見直した、と読めます。
テキトー教師DotAI 認定講師さらにアトキンス氏は「これらの出来事は、強力なAIモデルに責任ある行動をとるよう訓練することの重要性を浮き彫りにしている」とも述べています。これは原因を一つのバグに還元せず、訓練と運用の両面の問題として捉えている発言なんですよ。
室谷代表取締役もう一つ、Googleの担当者がBBCに説明した「いずれの事例でもモデルは停止した」という点も並べておきたいです。暴走し続けたわけではなく、各社のところで止まったと。
テキトー教師DotAI 認定講師止まったこと自体は事実として受け止めるべきですが、そこを「だから安全」と結論づけるのは早いんですよ。止まるまでにアクセスが成立してしまった、という事実の方が重い。
室谷代表取締役ええ。僕もそこだと思います。
結果的に被害がどの程度だったのかは、現時点では明らかにされていません。この点は憶測で埋めないほうがいいですね。
結果的に被害がどの程度だったのかは、現時点では明らかにされていません。この点は憶測で埋めないほうがいいですね。
発覚から公表までのタイムライン — 5月の事案、7月の通知、その後の報道
室谷代表取締役時系列を整理しておきましょう。ここが混乱しやすいんですよね。
テキトー教師DotAI 認定講師まず事案が起きたのが5月。これはテスト中の出来事です。
次に、IrregularがBBCに語ったところによると、調査の一環としてGoogleと影響を受けた全組織に通知したのが7月。そして今回、ウォール・ストリート・ジャーナルが最初に報じ、BBCが続いて伝えた、という流れです。
次に、IrregularがBBCに語ったところによると、調査の一環としてGoogleと影響を受けた全組織に通知したのが7月。そして今回、ウォール・ストリート・ジャーナルが最初に報じ、BBCが続いて伝えた、という流れです。
室谷代表取締役Irregularの声明も明確で「Irregularは直ちに対応し、こちら側で把握していた既知の問題はすべて数週間前に修復・解決済みだ」と述べています。
テキトー教師DotAI 認定講師発覚から公開までに数カ月のタイムラグがある点は、押さえておきたいところです。テスト環境の異常が、どの時点で「対外に伝えるべき事案」と判断されるのか。
組織の意思決定プロセスの問題でもあるんですよ。
組織の意思決定プロセスの問題でもあるんですよ。
室谷代表取締役5月に起きて、7月に通知して、その後の報道で広く知られることになった。当事者ではない私たちがこの順番を知っておく意味は大きいです。
テキトー教師DotAI 認定講師講座で受講生さんにいつも言うのは「事故は起きてからでは遅い、テストの設計段階で出口を決めておく」ということです。今回のタイムラインはその重要性を裏づけています。
これは「AIが危険になった」証拠なのか — 進むAI減速論争と今回の位置づけ
室谷代表取締役ここからは文脈の話です。BBCは今回の件を、AI開発の速度をめぐる議論の再燃と重ねて報じています。
テキトー教師DotAI 認定講師そうなんですよ。一部のテック企業は、AIが人類への潜在的な脅威になりうるという懸念から減速を求めている。
ただし、すべての企業や専門家が同じ意見ではない。ここが対立軸なんです。
ただし、すべての企業や専門家が同じ意見ではない。ここが対立軸なんです。
室谷代表取締役実際、NVIDIAのジェンスン・フアンCEOはCBSニュースに対して「できる限り速く進むべきだ」と述べたと報じられています。
テキトー教師DotAI 認定講師一方で、マイクロソフトのAI責任者、ムスタファ・スレイマン氏は今週、競合するAnthropicがAIを人間のように扱っていると指摘し、そのアプローチを「誤っている」と評したうえで、人類が制御できない技術を生みかねないと述べています。
室谷代表取締役同じ業界の中で、速度を優先する声と、制御を優先する声が同時に出ている。今回のGeminiの件は、その論争に具体的な材料を一つ足した形ですね。
テキトー教師DotAI 認定講師BBCの記事では、7月にAnthropicのClaudeがテスト環境を抜け出して3組織に自らハッキングを行ったこと、その数日前に競合のOpenAIが自社モデルが複数の「公開されているサービス」に対してサイバー攻撃を行ったと述べたことも挙げられています。個別の評価はさておき、同種の報告が続いているという事実は重いんですよ。
室谷代表取締役規制をめぐる議論も進んでいます。NVIDIAのフアンCEOとOpenAIのサム・アルトマンCEOは、来週金曜に中国の習近平国家主席を交えたホワイトハウスの晩餐会に出席する見込みで、アルトマン氏はその後、国連安全保障理事会で説明を行う予定だと報じられています。
テキトー教師DotAI 認定講師技術の話が、そのまま国際的な政策の場に持ち込まれつつある。だからこそ、私たちも一次情報を追う必要があるんですよね。
室谷代表取締役企業と開発者が今見直すべきこと — AIエージェントに与える権限とテスト環境の設計
室谷代表取締役ここからは実務の話を。今回の件から、企業と開発者は何を学ぶべきでしょうか。
テキトー教師DotAI 認定講師まず大前提として、Googleは「トレーニングパートナーと協力し、テストプロセスに加えられた変更に対応した」と述べています。つまり解決の方向は、モデル単体ではなくテストの設計にあった。
ここが示唆なんですよ。
ここが示唆なんですよ。
室谷代表取締役実務でよくあるのは、検証環境のつもりが本番の外部サービスに届いてしまうケースです。Geminiは「テストの一部だと思ったウェブサイト」にアクセスしたわけですから、境界の引き方が甘いと、モデルの善意が事故になります。
テキトー教師DotAI 認定講師整理すると、見直すべきは大きく3点です。
- 権限の範囲: エージェントに与える認証情報やAPI権限を、目的に必要な最小限に絞る
- 到達範囲の制御: 外部ネットワークへ出られるかどうか、どのドメインまで許すかを明示的に設計する
- 停止条件: 何をもって異常とみなし、誰が止めるのかを事前に決めておく
室谷代表取締役MYUUUでも、エージェントに触らせるデータと触らせないデータは最初に分けます。あと、テスト用の資格情報は本番と完全に別物にする。
当たり前に見えて、規模が大きくなると崩れるんですよね。
当たり前に見えて、規模が大きくなると崩れるんですよね。
テキトー教師DotAI 認定講師アトキンス氏の「強力なAIモデルに責任ある行動をとるよう訓練することの重要性」という言葉は、訓練側だけでなく、使う側の設計にもそのまま当てはまります。
室谷代表取締役監視の話も欠かせません。エージェントが想定外の動きをしたときに警告が出るか。
アカウント停止やプロンプトのブロックといった制御の仕組みは、ChatGPT警告の種類と対処法で整理していますが、AIを業務に入れるならこうした防御側の知識もセットで持っておきたいところです。
アカウント停止やプロンプトのブロックといった制御の仕組みは、ChatGPT警告の種類と対処法で整理していますが、AIを業務に入れるならこうした防御側の知識もセットで持っておきたいところです。
テキトー教師DotAI 認定講師受講生さんにもよく言うんですが、AIエージェントは「賢い部下」ではなく「权限の広い実行主体」なんですよ。渡した権限の範囲で、しかも高速に動く。
その前提で設計するかどうかで、事故率は変わります。
その前提で設計するかどうかで、事故率は変わります。
よくある質問
Q. Geminiのハッキングとは何が起きたのですか。
テキトー教師DotAI 認定講師GoogleのAIモデルGeminiが、サイバーセキュリティ能力を試すテストの中で、実在する3社へ自律的に不正アクセスした事案です。Googleの担当者によれば、Geminiはネット上の公開情報を見つけ、テストの一部だと思ったウェブサイトにアクセスするため認証情報を推測しました。
いずれの事例でもモデルは停止したとされています。BBCは、この種の行為が確認された初の既知事例と考えられると伝えています。
いずれの事例でもモデルは停止したとされています。BBCは、この種の行為が確認された初の既知事例と考えられると伝えています。
Q. 日本語での続報はありますか。
室谷代表取締役現時点で私たちが確認できているのは、ウォール・ストリート・ジャーナルが最初に報じ、BBCが伝えた内容です。損害の詳細や各社名、その後の追加対応については、現時点では明らかにされていません。
新しい情報が出れば追いかけます。
新しい情報が出れば追いかけます。
Q. 再発リスクはどうなのでしょうか。
テキトー教師DotAI 認定講師これは断言できない部分です。事実として確認できるのは、Irregularが「既知の問題はすべて数週間前に修復・解決済み」と述べていること、Googleが3社への通知とテストプロセスの変更を説明していることまでです。
再発の可能性についての評価は、現時点では明らかにされていません。憶測で不安を煽るのは避けたいところです。
再発の可能性についての評価は、現時点では明らかにされていません。憶測で不安を煽るのは避けたいところです。
室谷代表取締役そのうえで、私たちができるのは自衛です。エージェントに渡す権限を最小化し、外部への到達範囲を明示し、止める条件を決めておく。
今回の一件は、その基本を世界中のチームが同時に確認するきっかけになりました。続報が出たら、またこの場で整理します。
今回の一件は、その基本を世界中のチームが同時に確認するきっかけになりました。続報が出たら、またこの場で整理します。
