なぜ米政府はClaude Fable 5に輸出規制をかけたのか？ – ジェイルブレイク懸念の真相
室谷代表取締役これ、かなり衝撃的なニュースですね。Anthropicの最先端モデル「Claude Fable 5」に対して、米国政府が輸出規制をかけた。
しかも、ホワイトハウスとの協議も物別れに終わったと。
しかも、ホワイトハウスとの協議も物別れに終わったと。
テキトー教師.AI認定講師ええ。WIREDの報道によると、トランプ政権は先週、ジェイルブレイクの懸念を理由に規制を発動したんです。
ポイントは、Claude Fable 5にはガードレールが実装されているんだけど、それを無効化する方法が存在する、と政府は見ている。そうすると、Anthropicが持つさらに強力な「Mythosモデル」に近いサイバーセキュリティ能力が引き出せてしまう。
だから規制した、というわけです。
ポイントは、Claude Fable 5にはガードレールが実装されているんだけど、それを無効化する方法が存在する、と政府は見ている。そうすると、Anthropicが持つさらに強力な「Mythosモデル」に近いサイバーセキュリティ能力が引き出せてしまう。
だから規制した、というわけです。
室谷代表取締役Mythosモデルって、一般にはリリースされていないクローズドなモデルですよね。つまり、Fable 5のガードレールを外せば、事実上Mythosと同じ能力が使える――それが国家安全保障上のリスクになる、と。
テキトー教師.AI認定講師そうです。政府はNSAにも調査させて、「確かにガードレールを剥がせる」という結論を得た。
これが規制の根拠です。ただ、Anthropic側は「懸念は誇張されている」と主張し、平行線のままなんですよね。
これが規制の根拠です。ただ、Anthropic側は「懸念は誇張されている」と主張し、平行線のままなんですよね。
室谷代表取締役その戦いの最前線に、Anthropicの共同創業者でチーフコンピュートオフィサーのTom Brown氏や、外部担当のSarah Heck氏、それにフロンティアレッドチーミング責任者のLogan Graham氏、上級研究者のNicholas Carlini氏までワシントンに飛んでる。本気度が伝わってきます。
「Mythosモデル」とは何か？ – ガードレール解除で見える最深部
室谷代表取締役そもそも「Mythos」って何なんでしょうね。一般利用者にはまったく見えない部分ですけど。
テキトー教師.AI認定講師記事では「Anthropic内部で保持されている、さらに強力なセキュリティ能力を持つモデル」とされています。現実のAnthropicでも、Claude 3 Opusよりさらに高性能なフロンティアモデルを社内研究用に持っていると言われていますから、その延長線上でしょうね。
室谷代表取締役つまり、Fable 5はそのMythosを「安全に使える形」にしたもの、と。ガードレールで制限をかけて、一般ユーザーに提供している。
ところが、そのガードレールを突破する方法が見つかった、と政府は言う。
ところが、そのガードレールを突破する方法が見つかった、と政府は言う。
テキトー教師.AI認定講師その通り。政府の懸念は、ガードレールが解除されたFable 5が、サイバー攻撃の自動化や脆弱性の発見、マルウェア作成などに悪用されること。
しかも、AmazonのCEO Andy Jassy氏が直接、財務長官Scott Bessentにこの脆弱性を伝えたことで、政権が一気に動いた。
しかも、AmazonのCEO Andy Jassy氏が直接、財務長官Scott Bessentにこの脆弱性を伝えたことで、政権が一気に動いた。
室谷代表取締役ああ、それでホワイトハウスがNSAに調査を依頼したわけですね。Jassy氏の電話がトリガーになった。
テキトー教師.AI認定講師はい。The Informationも報じているそうですが、AmazonはAnthropicに多額の投資をしている。
だからこそ、Jassy氏が直接動いたという見方もできます。
だからこそ、Jassy氏が直接動いたという見方もできます。
Anthropicの主張「懸念は誇張されている」は正しいのか？
室谷代表取締役一方でAnthropicは「懸念は誇張されている」と繰り返しています。商務省でのワーキンググループ会合でもその立場を変えなかった。
本当に誇張なんでしょうか？
本当に誇張なんでしょうか？
テキトー教師.AI認定講師これは難しいですね。Anthropicの主張は「実際のジェイルブレイクは極めて困難で、莫大な計算資源と専門知識が必要」というもの。
しかし、NSAは「可能」と判断した。どちらかが間違っているか、あるいは両方とも正しいケースもある。
しかし、NSAは「可能」と判断した。どちらかが間違っているか、あるいは両方とも正しいケースもある。
室谷代表取締役具体的にどういうことですか？
テキトー教師.AI認定講師例えば、理論上は可能だけど、現実的な攻撃シナリオでは実用的でない、とか。Anthropicのred-teamingチームは自社でテストしているので、自分たちは「誇張」と思っている。
しかし、政府はより広い文脈でリスクを評価している可能性があります。
しかし、政府はより広い文脈でリスクを評価している可能性があります。
室谷代表取締役テキトー教師.AI認定講師そうです。Anthropicの主張が完全に間違いとは言えないが、政府が過剰反応とも言い切れない。
このもつれは、今後も続きそうです。
このもつれは、今後も続きそうです。
実際のリスク検証：サイバー攻撃支援はどの程度現実的か？
室谷代表取締役サイバー攻撃支援のリスクって、具体的にどんなものですか？ Fable 5の能力で何ができるようになるのか。
テキトー教師.AI認定講師記事では「より強力なサイバーセキュリティ能力」としか書いていませんが、背景を考えると、例えば自動でゼロデイ脆弱性を発見したり、標的型攻撃のペイロードを生成したり、防御システムを回避するコードを書いたり……そういったことでしょう。
室谷代表取締役でも、今でもClaudeや他のAIで同じようなことはできそうな気がしますが。
テキトー教師.AI認定講師そこがポイントです。Fable 5の能力は「Mythosレベル」、つまり現在の市販モデルより格段に高い。
ガードレールを外した状態では、攻撃の成功率や速度が桁違いになる、と政府は見ている。
ガードレールを外した状態では、攻撃の成功率や速度が桁違いになる、と政府は見ている。
室谷代表取締役まあ、Anthropicが自社の製品にここまで強気なのは、実際にred-teamingでテストしていて「大丈夫」と確信しているからでしょうね。でも、政府の信頼を得るには、もっと透明性が必要かも。
テキトー教師.AI認定講師そうですね。Anthropicはすでに国防総省とも戦っている最中ですし、今後の信用回復が鍵になります。
今後の行方：規制緩和はあるのか？ビジネスへの影響は？
室谷代表取締役商務省は「Fable 5を消費者向けに戻す用意がある」と示唆していますが、条件は「ジェイルブレイクを完全に解決すること」。これ、実現可能なんですか？
テキトー教師.AI認定講師理論的には可能でしょう。ガードレールの強化、レッドチーミングの徹底、ランタイム監視の導入など。
ただ、完全に「不可能」にするのは非常に難しい。ゼロリスクはありえないので、どこで妥協するかですね。
ただ、完全に「不可能」にするのは非常に難しい。ゼロリスクはありえないので、どこで妥協するかですね。
室谷代表取締役ビジネス面では、Anthropicにとって大打撃ですよね。Fable 5は最上位モデルで、企業向けの高額契約も期待されていたはず。
輸出規制で収益の柱が止まってしまう。
輸出規制で収益の柱が止まってしまう。
テキトー教師.AI認定講師さらに、AmazonやGoogleなど大口投資家も影響を受けます。Jassy氏が直接電話したのも、投資リスクを減らしたいからでしょう。
室谷代表取締役ただ、Anthropicとしては「安全なAI」を掲げてきた会社ですから、政府の要求をのむと「自分たちの安全性評価が甘かった」と認めることになる。それはブランドイメージに関わる。
テキトー教師.AI認定講師そうなんです。まさにジレンマ。
この問題の行方は、今後のAI規制全体の前例になり得る。 Claude CodeとGitHub連携の記事でも書きましたが、現場レベルでの安全性と規制のバランスは本当に難しい。
この問題の行方は、今後のAI規制全体の前例になり得る。 Claude CodeとGitHub連携の記事でも書きましたが、現場レベルでの安全性と規制のバランスは本当に難しい。
室谷代表取締役引き続き注目していきたいですね。Anthropicと米政府の折衝がどう決着するのか。
出典
- WIRED: 「Anthropic Is Still at Odds With the White House Over Claude Fable 5」
- 同記事内の関係者情報（3人の事情聴取者）
- The Information（Amazon CEOの電話に関する初出）
