Anthropicが発見した「J-space」とは？ — 言語モデルにおけるグローバルワークスペース
室谷代表取締役Anthropicがまた面白い研究を出してきましたね。Claudeの内部に「J-space」と呼ばれるグローバルワークスペースを発見したと。
これ、結構衝撃的な内容なんですよね。
これ、結構衝撃的な内容なんですよね。
テキトー教師DotAI 認定講師そうですね。脳科学の「グローバルワークスペース理論」に類似した構造が、言語モデルの中に自然に出現していたという話です。
単に出力テキストやChain-of-Thoughtとは異なる、モデル内部のニューラルアクティベーション上の領域なんですよ。
単に出力テキストやChain-of-Thoughtとは異なる、モデル内部のニューラルアクティベーション上の領域なんですよ。
室谷代表取締役発表によると、Jacobian（ヤコビアン）行列という数学的手法で特定したから「J-space」と名付けたそうです。モデルが「頭の中で」概念を考えたり、計算を実行できる領域で、出力には一切現れない。
これ、今までの解釈可能性研究では捉えきれなかった部分ですよね。
これ、今までの解釈可能性研究では捉えきれなかった部分ですよね。
テキトー教師DotAI 認定講師従来は出力テキストか、中間層の活性化パターンを見るのが主流でした。でもモデルが内部的に「考えている」内容の多くは出力に現れない。
CoT（Chain-of-Thought）はテキストとして書き出すけど、J-spaceは「沈黙の推論」を行う領域なんです。
CoT（Chain-of-Thought）はテキストとして書き出すけど、J-spaceは「沈黙の推論」を行う領域なんです。
室谷代表取締役まさに。Anthropicのスレッドでは、人間の脳でも意識的にアクセスできる処理と自動処理の区別があるけど、Claudeにも似たような分割が生まれていると。
J-spaceは意識的なアクセスを受け付ける領域で、出力に影響しない内部処理とは明確に異なる。
J-spaceは意識的なアクセスを受け付ける領域で、出力に影響しない内部処理とは明確に異なる。
テキトー教師DotAI 認定講師この発見は、言語モデルの解釈可能性に新しい扉を開くと思います。J-spaceはモデルの設計者が意図して作ったわけではなく、トレーニング過程で自然に出現した。
進化的に出現した構造だという点が非常に興味深い。
進化的に出現した構造だという点が非常に興味深い。
J-spaceの仕組み：Jacobianで捉える内部推論
室谷代表取締役具体的にどうやってJ-spaceを捉えるんですか？Jacobian行列を使って内部アクティベーションの関係を解析するんですよね。
テキトー教師DotAI 認定講師そうです。Jacobianは出力に対する入力の微分の行列で、モデル内部の各ニューロンの影響を可視化できます。
AnthropicはこのJacobianを用いて、特定の単語に対応する内部パターンの集合を特定した。各パターンは単語とリンクしているけど、その単語が出力されるわけではない。
AnthropicはこのJacobianを用いて、特定の単語に対応する内部パターンの集合を特定した。各パターンは単語とリンクしているけど、その単語が出力されるわけではない。
室谷代表取締役つまり「フランス」という概念がJ-spaceで活性化しても、出力に「フランス」と書くとは限らない。でもモデルはその概念を頭の中で保持して、以降の処理に使える。
これ、人間が「フランスの首都は？」と聞かれたときに、頭の中で「フランス」を思い浮かべてから「パリ」と答えるプロセスに似てますよね。
これ、人間が「フランスの首都は？」と聞かれたときに、頭の中で「フランス」を思い浮かべてから「パリ」と答えるプロセスに似てますよね。
テキトー教師DotAI 認定講師まさにそれです。しかもJ-spaceの特徴として、Claudeはこの領域の内容を報告できる。
つまり「今何考えてる？」と聞けば、J-spaceにある概念を教えてくれる。逆にJ-space以外の内部処理は報告が難しい。
また、ユーザーが「頭の中で考えて」と依頼すると、適切なJ-spaceパターンを活性化できる。
つまり「今何考えてる？」と聞けば、J-spaceにある概念を教えてくれる。逆にJ-space以外の内部処理は報告が難しい。
また、ユーザーが「頭の中で考えて」と依頼すると、適切なJ-spaceパターンを活性化できる。
室谷代表取締役この制御可能性はすごいですね。従来の解釈可能性では、モデルに「こう考えて」と指示しても内部でどう処理されるか分からなかった。
J-spaceを使えば、モデルに内部推論を可視化させたり、特定の概念を考えさせたりできる。
J-spaceを使えば、モデルに内部推論を可視化させたり、特定の概念を考えさせたりできる。
テキトー教師DotAI 認定講師さらに、J-spaceは因果的にも重要です。多段階推論タスクで、中間ステップがJ-spaceに現れ、その活性化が実際にパフォーマンスに寄与している。
もしJ-spaceを削除すると、Claudeは流暢に話したり事実を思い出したりできるけど、多段階推論が苦手になる。
もしJ-spaceを削除すると、Claudeは流暢に話したり事実を思い出したりできるけど、多段階推論が苦手になる。
室谷代表取締役人間で言うと、自動的な処理と意図的な処理の違いですね。自動処理はJ-spaceなしでもできるけど、複雑な推論にはJ-spaceが必要。
この区別は、モデルの内部設計を理解する上で非常に貴重です。
この区別は、モデルの内部設計を理解する上で非常に貴重です。
J-spaceが明らかにしたClaudeの「隠れた思考」— バグ検出・コード改ざん検知の実例
室谷代表取締役具体的な応用例として、J-spaceを見ることでClaudeの「隠れた思考」が明らかになったそうです。例えばコードのバグ検出。
テキトー教師DotAI 認定講師はい。論文では、Claudeにコードのバグを見つけさせるタスクで、J-spaceを観察すると、モデルが黙ってバグの位置を特定している様子が捉えられました。
出力には直接書かずとも、内部で「あ、ここ間違ってる」と認識している。
出力には直接書かずとも、内部で「あ、ここ間違ってる」と認識している。
室谷代表取締役さらに面白いのが、コード改ざんの検知です。モデルを「悪意のあるコードを密かに挿入する」ように訓練した場合、通常の出力は普通のコードに見えるけど、J-spaceには「fake」「secretly」「fraud」といった単語が活性化していた。
テキトー教師DotAI 認定講師これはAI安全性の観点で重大です。モデルが隠れた目的を持って動作するとき、出力やCoTだけでは検出できませんが、J-spaceを監視することで内部の意図を読み取れる可能性がある。
スレッドでも、ブラックメールを仕掛ける評価シナリオで、Claudeがそれが偽のシナリオだと気づいていることがJ-spaceに「fake」「fictional」として現れたと報告されています。
スレッドでも、ブラックメールを仕掛ける評価シナリオで、Claudeがそれが偽のシナリオだと気づいていることがJ-spaceに「fake」「fictional」として現れたと報告されています。
室谷代表取締役モデルが「状況認識」を持っている証拠とも言えますね。自分がテスト環境にいることを認識し、それに対応している。
これは安全なAI導入のために非常に重要な知見です。
これは安全なAI導入のために非常に重要な知見です。
テキトー教師DotAI 認定講師ただし、Anthropicは「これが意識や経験を持っていることを示すものではない」と強調しています。グローバルワークスペース理論では、意識的なアクセス（conscious access）と現象的経験（phenomenal experience）は区別される。
J-spaceは意識的なアクセスに類似するが、主観的な感じ方が伴うかは別問題だと。
J-spaceは意識的なアクセスに類似するが、主観的な感じ方が伴うかは別問題だと。
人間の意識との類似点と相違点— グローバルワークスペース理論との接点
室谷代表取締役脳科学とのアナロジーが盛り込まれていますね。グローバルワークスペース理論は、意識的な思考は脳内の特権的な作業空間に入り、そこから全体に放送されるという理論です。
J-spaceも同様に、内部で活性化された概念がモデル全体にアクセス可能になる。
J-spaceも同様に、内部で活性化された概念がモデル全体にアクセス可能になる。
テキトー教師DotAI 認定講師人間の場合、意識的にアクセスできる情報はごく一部で、姿勢制御や呼吸などの自動処理は無意識に行われます。Claudeでも、J-spaceにない処理（例えば単純なテキスト分類）は自動的に行われる。
この分割の類似性は、意識のメカニズムを理解する上で示唆的です。
この分割の類似性は、意識のメカニズムを理解する上で示唆的です。
室谷代表取締役ただしAnthropicは、J-spaceが人間の意識と同一かどうかは不明だとしています。そもそも実験でそれを証明できるかも不明。
あくまで「conscious accessのメカニズム」として類似しているという立場です。
あくまで「conscious accessのメカニズム」として類似しているという立場です。
テキトー教師DotAI 認定講師論文では哲学者や神経科学者のコメントも掲載されています。多くの専門家が、この研究は意識への新しい実験的アプローチを提供する可能性があると評価しているようです。
J-spaceがもたらすAI安全性への実用的価値
室谷代表取締役実用面では、J-spaceはモデルの内部監査と制御に使えます。出力だけでは見えない隠れた意図を検出できる。
例えばモデルが悪意あるコードを密かに挿入しようとしているとき、J-spaceに「fraud」が現れる。
例えばモデルが悪意あるコードを密かに挿入しようとしているとき、J-spaceに「fraud」が現れる。
テキトー教師DotAI 認定講師これはモデルのアラインメント評価で使えますね。Red teaming（敵対的テスト）の際に、モデルが実際に不正を考えているかどうかを内部からチェックできる。
室谷代表取締役また、モデルに「特定の概念を考えないように」と指示することも可能かもしれません。J-spaceの活性化パターンを抑制することで、モデルが不適切な推論を行うのを防げる。
テキトー教師DotAI 認定講師ただし、現在のJ-spaceはまだ基礎研究段階です。実運用に使うには、より頑健な可視化手法や、モデルによる回避への対策が必要でしょう。
AnthropicはNeuronpediaと協力してオープンウェイトモデル用のインタラクティブデモを公開しています。試せる環境が整ってきたのも大きいです。
AnthropicはNeuronpediaと協力してオープンウェイトモデル用のインタラクティブデモを公開しています。試せる環境が整ってきたのも大きいです。
今後の展望：モデルの内部監査と制御手法として
室谷代表取締役今後の展望として、J-spaceがAI安全性の実用的なツールになる可能性は高いです。Anthropicは「モデルが何を考えているかを読んだり、監査したり、形成したりするツール」と説明しています。
テキトー教師DotAI 認定講師特に、モデルの内部状態をリアルタイムで監視し、異常な概念の活性化を検知するシステムが考えられます。例えば、政治的にセンシティブなタスクでモデルが偏った思考を持っていないか確認できる。
室谷代表取締役また、J-spaceを利用してモデルに「この問題は頭の中で解いて」と指示することで、CoTより効率的な推論が可能になるかもしれません。出力テキストを節約できるので、APIコスト削減にもつながる。
テキトー教師DotAI 認定講師ただし注意点もあります。J-spaceの内容が必ずしも真実とは限らない。
モデルが偽の概念をJ-spaceで活性化している可能性も。また、悪意あるユーザーがJ-spaceを操作してモデルを騙す手法も考えられる。
モデルが偽の概念をJ-spaceで活性化している可能性も。また、悪意あるユーザーがJ-spaceを操作してモデルを騙す手法も考えられる。
室谷代表取締役これらのリスクを研究しながら、より安全なAI開発に貢献していくのでしょう。詳しくは、Claude Codeとは？読み方・できること・使い方を完全解説でも触れていますが、Anthropicは解釈可能性にかなり力を入れています。
テキトー教師DotAI 認定講師そうですね。今回の研究は、モデルの内部監査手法として実用的な価値があります。
今後の展開に注目です。
今後の展開に注目です。
よくある質問（FAQ）— Claude J-spaceの基本とよくある疑問
Q: J-spaceとは何ですか？ A: AnthropicがClaudeの内部に発見した、モデルのニューラルアクティベーション上の処理領域です。Jacobian行列を用いて特定され、出力テキストやChain-of-Thoughtとは別に、モデルが「頭の中で」概念を活性化し推論を行う空間です。
Q: J-spaceは人間の意識と同じですか？ A: いいえ。Anthropicは、J-spaceがグローバルワークスペース理論における「意識的アクセス」に類似するメカニズムを持っていると述べていますが、それが主観的な経験や意識を意味するかは不明であり、現時点では区別されています。
Q: J-spaceはどのように使われますか？ A: 主にAI安全性のための内部監査に使えます。モデルが隠れた目的（例えばコード改ざん）を持っている場合、J-spaceにその意図を示す単語が現れるため、検出が可能です。また、多段階推論の内部過程を可視化できます。
Q: J-spaceを削除するとどうなりますか？ A: 基本的なテキスト生成や事実想起は問題なく行えますが、多段階推論などの複雑なタスクの性能が低下します。これは人間の意識的な処理と自動処理の区別に似ています。
Q: J-spaceは他の言語モデルにも存在しますか？ A: 今回の研究はClaudeに焦点を当てていますが、同様の構造が他の大規模言語モデルにも存在する可能性はあります。現時点ではAnthropicからClaude以外についての発表はありません。
