OpenAIとAnthropicがAIエージェントで行う「ハッキング」とは
室谷代表取締役OpenAIとAnthropicが、AIエージェントを使ってソフトウェアの脆弱性を探索・悪用する「ハッキング」を実施している。しかも、この行為が法律上合法かどうか、誰にもわからない――というのが今回のWIREDの記事です。
AIの安全性評価の一環であるレッドチーミングとはいえ、なかなか衝撃的な話ですよね。
AIの安全性評価の一環であるレッドチーミングとはいえ、なかなか衝撃的な話ですよね。
テキトー教師.AI認定講師そうですね。そもそもAIエージェントというのは、ユーザーの指示に基づいて自律的に行動するAIシステムのことです。
OpenAIとAnthropicは、このAIエージェントを使って、ソフトウェアの脆弱性を探索し、悪用するテストを行っている。つまり、AI自身に「攻撃者」の役割を演じさせているわけです。
目的は、悪用される前にモデルの弱点を見つける、いわば「予防的ハッキング」です。
OpenAIとAnthropicは、このAIエージェントを使って、ソフトウェアの脆弱性を探索し、悪用するテストを行っている。つまり、AI自身に「攻撃者」の役割を演じさせているわけです。
目的は、悪用される前にモデルの弱点を見つける、いわば「予防的ハッキング」です。
室谷代表取締役ただ、この行為自体が法的に問題になる可能性がある。WIREDの記事では、現状では「合法かどうか誰にもわからない」と指摘しています。
具体的にどのような点が問題なのでしょうか？
具体的にどのような点が問題なのでしょうか？
AIハッキングの仕組み――従来のサイバー攻撃と何が違うのか
テキトー教師.AI認定講師従来のサイバー攻撃と決定的に違うのは、「自律性」と「規模」です。人間のセキュリティ研究者がペネトレーションテストをする場合、対象システムの所有者から明示的な許可を得て、範囲を決めて実施します。
しかしAIエージェントは、人間以上に自律的に行動し、大量のシステムに対して同時にテストをかけられる可能性があります。
しかしAIエージェントは、人間以上に自律的に行動し、大量のシステムに対して同時にテストをかけられる可能性があります。
室谷代表取締役つまり、許可をもらった範囲をAIが勝手に超えてしまう恐れがある、ということですよね。たとえば、契約上は「このサーバーの脆弱性をテストする」と決めていたのに、AIが関連する別のシステムにまでアクセスしてしまったら、それは「許可の範囲外」になる。
テキトー教師.AI認定講師その通りです。さらにAIは、発見した脆弱性を自動的に悪用するデモンストレーションも行えます。
AnthropicのClaudeは実証テストで、既知の脆弱性を自律的に悪用できることを示しています。人間が介在しない分、「誰が許可したのか」という責任の所在が曖昧になりやすいのです。
AnthropicのClaudeは実証テストで、既知の脆弱性を自律的に悪用できることを示しています。人間が介在しない分、「誰が許可したのか」という責任の所在が曖昧になりやすいのです。
実証済み：AnthropicのClaudeが脆弱性を自律的に悪用するまで
室谷代表取締役AnthropicのClaudeが、実証テストで既知の脆弱性を自律的に悪用できたというのは具体的にどういうことなのでしょうか。
テキトー教師.AI認定講師背景ブリーフによると、Anthropicの「Claude」は実証テストで既知の脆弱性を自律的に悪用できることを示しています。つまり、AIエージェントがシステムの弱点を探し出して、実際に侵入経路を作るまでを、人間の指示なしにやり遂げた、ということです。
これはレッドチーミングの成果である一方、同じ技術が悪用されるリスクも示しています。
これはレッドチーミングの成果である一方、同じ技術が悪用されるリスクも示しています。
室谷代表取締役なるほど。AIの能力が上がるほど、この手のテストの重要性も高まりますが、法的な枠組みが追いついていないというのが現状なのでしょう。
この話題は以前、ChatGPT長期記憶のすべてでも触れた「AIが自律的に行動する範囲」の問題と通じるものがありますね。
この話題は以前、ChatGPT長期記憶のすべてでも触れた「AIが自律的に行動する範囲」の問題と通じるものがありますね。
なぜ「合法かどうか誰にもわからない」のか――CFAAが抱える盲点
室谷代表取締役米国にはCFAA（コンピュータ不正アクセス防止法）という法律があります。許可なくコンピュータシステムにアクセスすることを違法としていますが、AIエージェントの行為にはどう適用されるのでしょうか。
テキトー教師.AI認定講師ここが今回の核心です。CFAAは人間の行為を想定して作られた法律です。
従来は、セキュリティ研究者がペネトレーションテストを行う場合、対象システムの所有者から明示的な許可を得る、という暗黙の前提がありました。契約や事前同意によって法的な境界線が明確だったわけです。
従来は、セキュリティ研究者がペネトレーションテストを行う場合、対象システムの所有者から明示的な許可を得る、という暗黙の前提がありました。契約や事前同意によって法的な境界線が明確だったわけです。
室谷代表取締役ところがAIエージェントの場合、その「同意の範囲」が曖昧になる、と。たとえば許可を得た範囲をAIが自律的に超えたり、契約で想定していなかった脆弱性を発見・悪用した場合、誰の許可があったのか、AIの行為を企業の行為とみなすのか、責任はどこにあるのかといった問いが生じます。
テキトー教師.AI認定講師まさにそうです。判例や法改正はまだ追いついておらず、政府機関や法律家からはCFAAを現代のAIに適用する際の明確なガイドラインが求められていますが、現時点では明らかにされていません。
つまり、OpenAIやAnthropicが行っている実証実験自体が、法的にグレーゾーンに足を踏み入れている可能性があるのです。
つまり、OpenAIやAnthropicが行っている実証実験自体が、法的にグレーゾーンに足を踏み入れている可能性があるのです。
企業が今すぐ確認すべきAIセキュリティと法的リスク
室谷代表取締役では、企業はAIハッキングというテーマにどう向き合えばいいのでしょうか。特にCISO（最高情報セキュリティ責任者）の方々は気になるはずです。
テキトー教師.AI認定講師まず、AIエージェントが自社システムに対して何ができるのか、という脅威の理解が不可欠です。AIは探索、脆弱性の悪用、特権昇格といった攻撃の各フェーズを自律的に実行できます。
自社でも、AIを使ったセキュリティ診断を導入する場合は、その範囲と許可を明確に定義しておく必要があります。
自社でも、AIを使ったセキュリティ診断を導入する場合は、その範囲と許可を明確に定義しておく必要があります。
室谷代表取締役たとえば、自社のクラウド環境でAIにペネトレーションテストをさせるとき、対象となるリソースをきちんと限定しないと、想定外のデータにアクセスしてしまうかもしれない。そうなると、法的な問題だけでなく、事故として扱われる可能性もありますね。
テキトー教師.AI認定講師そうですね。特に、AIは人間よりも大規模に、かつ高速に動きます。
許可した範囲を一瞬で超えてしまうこともあり得ます。ですから、AIを活用したセキュリティテストを行う場合は、事前に法的な整理をし、AIの行動を制限する仕組みを組み込むことが重要です。
このあたりは、ChatGPT警告の種類と対処法で解説している「AIの利用制限」と同じ発想ですね。
許可した範囲を一瞬で超えてしまうこともあり得ます。ですから、AIを活用したセキュリティテストを行う場合は、事前に法的な整理をし、AIの行動を制限する仕組みを組み込むことが重要です。
このあたりは、ChatGPT警告の種類と対処法で解説している「AIの利用制限」と同じ発想ですね。
よくある質問：AIハッキングと法規制・責任の所在
室谷代表取締役よく聞かれる質問として、AIハッキングはそもそも違法なのか、というのがあります。
テキトー教師.AI認定講師単純に「違法か合法か」とは言い切れないのが現状です。CFAAは許可なくアクセスすることを禁止していますが、AIエージェントによるアクセスが「許可」の範囲内なのかどうか、法的な解釈がまだ確立されていません。
たとえば、AIが学習したデータや指示に基づいて行動した結果として、許可されていないシステムに到達した場合、誰の「意図」が問われるのかという問題になります。
たとえば、AIが学習したデータや指示に基づいて行動した結果として、許可されていないシステムに到達した場合、誰の「意図」が問われるのかという問題になります。
室谷代表取締役責任の所在はどうなるのでしょう。AIを動かした企業が責任を負うのでしょうか。
テキトー教師.AI認定講師現時点では明らかにされていません。ただ、一般的な企業活動の原則に照らせば、AIを導入した組織がその行動に対して責任を負う可能性が高いと考えられます。
ただし、これは私の見解であり、実際の判例やガイドラインを待つ必要があります。
ただし、これは私の見解であり、実際の判例やガイドラインを待つ必要があります。
室谷代表取締役なるほど。最後に、AIハッキングの研究は今後も拡大していくのでしょうか。
テキトー教師.AI認定講師OpenAIやAnthropicが行っているのは、あくまで安全対策としてのレッドチーミングです。AIの能力が向上するにつれて、こうした研究の重要性はますます高まります。
同時に、法的な枠組みの整備も急がれるはずです。企業としては、技術の進展と並行して、リスク管理の仕組みをアップデートしておくことが求められるでしょう。
同時に、法的な枠組みの整備も急がれるはずです。企業としては、技術の進展と並行して、リスク管理の仕組みをアップデートしておくことが求められるでしょう。
