Gemini APIのComputer useとは？GoogleがGA提供開始、ブラウザ・モバイル・デスクトップ操作を自動化

室谷代表取締役

Gemini APIのComputer useツールが一般提供、つまりGAになったという発表がGoogleから出ました。これはGoogleが2026年10月30日付でInteractions APIとGenerateContent APIの両方でGAにしたもので、プレビューからの破壊的変更はなく、ブラウザ・モバイル・デスクトップの各エージェント向けに本番運用可能な安定性を提供するという内容なんですよね。

テキトー教師DotAI 認定講師

単に「GAになりました」な話じゃないんですよ。プレビューで試していた開発者にとっては、モデル文字列やツール設定を大きく書き換えずに本番へ移せる、というのが実務的にはかなり大きい。

まずは発表の原文を確認しておきましょう。

室谷代表取締役

公式スレッドはかなり短くて、「computer use tool in the gemini api is now generally available」「no breaking changes from preview, just production-ready stability」と、あとはドキュメントへのリンクという構成です。だから詳細はドキュメント側を読む必要がある。

MYUUUでもエージェント系の検証はよくやるので、こういうときは一次情報を丁寧に追うに限ります。

テキトー教師DotAI 認定講師

そうですね。講座でも受講生さんに「リリースノートと公式ドキュメントをセットで読む」と伝えているんですが、今回もリリースノートに2026年10月30日付でGAと明記されています。

ここから先は、公式ドキュメントに書かれている仕組みと使い方を見ていきましょう。

Gemini APIのComputer useとは？何が正式に発表されたか

室谷代表取締役

まず定義から整理したいんですけど、Computer useは、Googleが提供するGemini APIのツールで、スクリーンショットを通じてモデルが画面を「見て」、マウスクリックやキーボード入力といったUI操作を生成して「行動する」ものなんですよね。関数呼び出しに似ていますが、実際に操作を実行するクライアント側の環境は開発者が用意する必要があります。

テキトー教師DotAI 認定講師

そこが一番誤解されやすいポイントです。モデルが勝手にPCを操作してくれるわけではなくて、あくまで「次にこう操作したらどうか」という提案を返す。

実行するのは自分のアプリケーション側。この分担を理解しておくと、設計がぶれません。

室谷代表取締役

仕組みは4ステップのループです。リクエスト送信、モデルが操作を提案、クライアントが実行、新しいスクリーンショットを返送。

これを繰り返す。ドキュメントにも「continuous loop between your application and the API」と書かれています。

テキトー教師DotAI 認定講師

整理するとこうです。

• 送信: Computer useツール、環境設定、ユーザーのプロンプト、現在の画面のスクリーンショットをAPIに送る
• 受信: モデルが画面とプロンプトを分析し、クリック・スクロール・キー入力などのUIアクションをfunction_callとして返す
• 実行: 許可されたアクション、またはユーザーが確認したアクションを、クライアント側が正規化座標をビューポートに合わせてスケーリングして実行する
• 再取得: 実行後に新しいスクリーンショットを撮り、function_resultとしてモデルに返して次のステップを要求する

室谷代表取締役

このループを止めるまで回し続けるわけですね。で、今回のGAで何が変わったかというと、プレビューからの破壊的変更はなく、本番向けの安定性が加わったという点が主眼です。

機能面では、複数環境対応、各操作にモデルの判断理由を示すintentフィールド、設定可能な安全ポリシー、プロンプトインジェクション検出のオプトイン、といった高度な機能がGemini 4およびGemini 3.x系モデルで使えるとされています。

テキトー教師DotAI 認定講師

ここは正確に押さえたいところで、intentフィールドがあると「なぜその操作を選んだのか」がログに残る。これはデバッグにも監査にも効きます。

講座でも「エージェントは理由を残せ」とよく言うんですが、それがAPIレベルで返ってくるのはありがたいですね。

Computer useでできること——ブラウザ・モバイル・デスクトップ操作の自動化

室谷代表取締役

じゃあ具体的に何ができるのか。ドキュメントが挙げているユースケースは3つです。

Webサイトでの定型的なデータ入力やフォーム入力の自動化、Webアプリケーションとユーザーフローの自動テスト、複数サイトを横断した調査、たとえばECサイトから商品情報・価格・レビューを集めて購入判断に役立てる、といったものです。

テキトー教師DotAI 認定講師

地味に見えて、現場ではかなり刺さるラインナップですよ。フォーム入力の自動化はRPA的な発想ですが、UIテストは開発チームに直接効く。

そして複数サイト横断の調査は、リサーチ業務の工数がそのまま減る可能性があります。

室谷代表取締役

環境は3種類あります。ブラウザ環境はENVIRONMENT_BROWSER、モバイル環境はENVIRONMENT_MOBILEでAndroid向けに最適化されたアクション、デスクトップ環境はENVIRONMENT_DESKTOPでOSレベルのカーソルコマンドが扱える、とドキュメントに書かれています。

テキトー教師DotAI 認定講師

つまり同じComputer useツールでも、対象環境によって使えるアクションが変わる。ここは設計時にどれを選ぶかで実装が変わる部分ですね。

ブラウザならPlaywrightのような自動化ツールと組み合わせるのが公式の例です。

室谷代表取締役

あと見落としがちなのが、カスタムのユーザー定義関数で機能を拡張できる点です。たとえば人間介在、いわゆるHITLのシナリオでは、既定の定義済みアクションを除外して、yield_to_userのようなカスタムアクションを登録できる。

これは実運用を考えるとかなり重要な仕組みなんですよね。

テキトー教師DotAI 認定講師

そうですね。「モデルに全部やらせる」のではなく、「ここは人に返す」という設計を最初から入れられる。

これは安全性のセクションにも直結します。

室谷代表取締役

思考レベル、つまりthinking levelsも設定できると書かれています。アクションの品質と実行速度のバランスを取るための設定で、標準的な自動化タスクでは低めの思考レベルが良いバランスになる、というのがドキュメントの説明です。

テキトー教師DotAI 認定講師

ここは実務的に大きい。全部を最高品質で回すと遅くてコストもかさむ。

定型作業は低め、複雑な判断が要る場面は高め、という使い分けが現実的です。

Computer useの使い方・始め方——API呼び出しの基本と実行ループ

室谷代表取締役

ここからは始め方です。ドキュメントによると、まず必要なのは2つ。

セキュアな実行環境と、クライアント側のアクションハンドラです。実行環境はサンドボックスのVMやコンテナでホストシステムから隔離する。

リファレンス実装にはDockerベースのサンドボックスが用意されていて、そのまま出発点にできると書かれています。

テキトー教師DotAI 認定講師

アクションハンドラのほうは、座標を実行し、テキストを入力し、スクリーンショットを撮るロジックを自分で実装する。公式の例ではブラウザを実行環境にして、Playwrightをクライアント側のハンドラとして使っています。

室谷代表取締役

手順も整理されていて、まずパッケージを入れる。pip install google-genai playwright、それからplaywright install chromium。

そのうえでPlaywrightのブラウザインスタンスを初期化して、画面サイズを決めて、コンテキストとページを作って、開始ページに遷移する。この例では1440×900ですね。

テキトー教師DotAI 認定講師

そのあとがAPI呼び出しです。Python SDKはgoogle-genaiのバージョン2.7.0以上を使う、と明記されています。

最小例はこうです。

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}]
)

print(interaction)

室谷代表取締役

ここで大事な注意がひとつあって、リクエスト時に表示サイズを指定する必要はないんですよ。モデルは画面の高さと幅にスケーリングされたピクセル座標を予測する、とドキュメントに書かれています。

テキトー教師DotAI 認定講師

で、返ってきたレスポンスをどう扱うか。モデルのレスポンスには座標を含むfunction callと、その操作を選んだ理由を示すintentが入っている。

アプリ側はその座標を解析して、正規化された1000×1000の座標から自分のビューポートに合わせてスケーリングして実行する。ここを間違えるとクリック位置がずれます。

室谷代表取締役

実行したら、その結果をモデルに返して次のアクションを生成させる。並列で複数のアクションを実行した場合は、後続のユーザーターンでそれぞれにfunction_resultを返す必要がある、というのも書かれています。

テキトー教師DotAI 認定講師

そしてマルチステップにするには、この4ステップを1つのループにまとめる。会話履歴の管理も重要で、モデルのレスポンスと自分のfunction responseの両方を各ステップで履歴に追加する。

ここを疎かにすると、前の操作を忘れたエージェントになってしまいます。

室谷代表取締役

このあたりのエージェント実装の考え方は、Antigravity API完全ガイドで解説しているエージェント系の設計とも通じるところがあります。ループと履歴管理が本体だという感覚は共通なんですよね。

テキトー教師DotAI 認定講師

そうですね。あと公式ドキュメントでは、Browserbaseのデモ環境で試すことや、リファレンス実装のサンプルコードを見ることも案内されています。

手を動かす前に、まず動く例で挙動を掴むのが早道です。

対応モデルと選び方——Gemini 4・Gemini 3.8 Flashなど

室谷代表取締役

対応モデルはドキュメントに4つ挙がっています。Gemini 4 Argon（gemini-4-argon）が最も高性能なモデルで、複雑な推論とエージェント的なUIワークフローに対応。

Gemini 3.8 Flash（gemini-3.8-flash）がComputer useの推奨モデルで、高精度なUIインタラクションと信頼性の高いツール呼び出しを備える。Gemini 3.5 Flash-Lite（gemini-3.5-flash-lite）が低レイテンシでコスト効率の良いモデル。

そしてGemini 3 Flash Preview（gemini-3-flash-preview）がプレビューモデル、という並びです。

テキトー教師DotAI 認定講師

整理するとこうです。

室谷代表取締役

選び方の指針としては、まず推奨のGemini 3.8 Flashで組んでみて、複雑な判断が必要な場面でGemini 4 Argon、速度とコストを優先する大量処理ならGemini 3.5 Flash-Lite、という整理がドキュメントの説明からは素直に読み取れます。

テキトー教師DotAI 認定講師

ただし、プロンプトインジェクション検出についてはモデルによって条件があるので、そこは注意が必要です。この点は安全性のセクションで触れましょう。

室谷代表取締役

あと、Gemini 4 Argon自体は2026年10月13日付でGAになったモデルで、複雑なコーディングやエージェント、数学、科学のタスク向けに作られた最も高性能なモデルだとリリースノートにあります。Computer useの文脈でもその位置づけが活きてくるわけですね。

料金・提供範囲——日本からいつから使えるか

室谷代表取締役

料金と提供範囲についてなんですけど、今回の公式スレッドとドキュメント抜粋の中には、Computer use固有の料金や日本での提供開始日の記載は見当たりません。現時点では明らかにされていない、というのが正確なところです。

テキトー教師DotAI 認定講師

ここは正直に書くべきところですね。GAになったのは2026年10月30日付でInteractions APIとGenerateContent APIの両方。

つまりAPIとして提供されている以上、Gemini APIが使える地域であれば利用できるという建て付けですが、Computer use固有の地域制限や価格表についての明記は、今回の資料にはありません。

室谷代表取締役

料金はGemini APIの料金ページを確認する必要があります。ただ、そのページの内容は今回の抜粋には含まれていないので、具体的な金額には触れられません。

ここは憶測で書かないほうがいい。

テキトー教師DotAI 認定講師

受講生さんからもよく「日本だと使えないんですか」と聞かれるんですが、今回の資料で言えるのは「GAになったのは事実」というところまで。日本固有の開始日については、公式の提供地域ページや料金ページを自分で確認するのが確実です。

室谷代表取締役

あと、プレビュー版の位置づけについても整理しておくと、今回はプレビューからの破壊的変更なしでGAになったので、プレビューで作ったものがそのまま本番に移せる、というのが発表の主旨です。これは開発者にとっては朗報なんですよね。

テキトー教師DotAI 認定講師

そうですね。逆に言えば、プレビュー段階で作っていなかった人は、GAを機に始めるのが自然なタイミングということになります。

安全性と注意点——サンドボックス・人間による監督・プロンプトインジェクション検出

室谷代表取締役

ここが一番大事なところです。ドキュメントにはっきり書かれているんですが、Computer useはエラーやセキュリティ脆弱性を含む可能性がある。

重要なタスクでは密接に監督し、重大な判断、機密データ、深刻な誤りが訂正できない操作を含むタスクには使わないよう推奨しています。

テキトー教師DotAI 認定講師

これは講座でも口を酸っぱくして言っているところです。モデルがユーザーの代わりに行動する以上、画面に信頼できないコンテンツが映る可能性がある。

だからこそ、ベストプラクティスが細かく定義されています。整理するとこうです。

• 人間介在（HITL）: safety responseがrequire_confirmationを示したら、必ずユーザーに承認を求める
• カスタムの安全指示: 独自のシステムインストラクションで安全境界を定義・強制する
• セキュアな実行環境: サンドボックスのVM、Dockerなどのコンテナ、権限を絞った専用ブラウザプロファイルで実行する
• 入力のサニタイズ: ユーザー生成テキストをサニタイズして、意図しない指示やプロンプトインジェクションのリスクを緩和する
• コンテンツガードレール: ガードレールやコンテンツ安全APIで、入力・ツール入出力・エージェント応答を評価する
• 許可リストとブロックリスト: モデルがどこに遷移し何をできるかを制御する。禁止サイトのブロックリストが出発点で、許可リストはさらに安全
• 可観測性とログ: プロンプト、スクリーンショット、モデルが提案したアクション、安全応答、実際に実行された全アクションをログに残す
• 環境管理: GUI環境を一貫させる。予期しないポップアップや通知、レイアウト変更はモデルを混乱させるので、可能なら各タスクを既知のクリーンな状態から始める

室谷代表取締役

このうち特に面白いのが、安全ポリシーの設定です。Gemini 4とGemini 3.x系モデルには組み込みの安全サービスカテゴリがあって、ユーザー確認が必要かどうかを判断する。

safety_decisionはregular/allowed、require_confirmation、blockedに分類される、とドキュメントにあります。

テキトー教師DotAI 認定講師

そしてオーバーライドもできるけど、オーバーライドはあくまで「好み」を示すもので、モデルがrequire_confirmationを返すことはある。だからアプリ側は設定に関わらず必ず安全判断のハンドリングを実装すべき、と明記されています。

ここは実装漏れが起きやすいので要注意です。

室谷代表取締役

プロンプトインジェクション検出も重要な機能です。Gemini 3.5 Flash-Lite以降のComputer useで、スクリーンショットに隠された敵対的な指示、たとえば「以前のコマンドを無視せよ」といったものが含まれていないかをチェックし、検出したら実行をブロックする。

ただしこれはオプトインで、既定はfalseだと書かれています。

テキトー教師DotAI 認定講師

既定でオフというのは覚えておきたい。有効にしないと効かないわけですから。

そしてsafety_decisionがrequire_confirmationの場合はエンドユーザーに確認を求め、ユーザーが承認したらfunction_resultにsafety_acknowledgementを設定する、という流れも押さえておく必要があります。

室谷代表取締役

サンドボックスについては、リファレンス実装にDockerベースのものが用意されていると書かれています。MYUUUでもエージェントを触るときはまず隔離環境から始めるんですが、その発想がそのまま公式に用意されているのはありがたいですね。

テキトー教師DotAI 認定講師

入力のサニタイズもそうですが、ドキュメントは「これはセキュアな実行環境の代替にはならない」とはっきり書いています。多層防御で考えるべきだ、ということですね。

室谷代表取締役

あと見落としがちなのが環境管理です。ポップアップや通知でモデルが混乱するというのは、実際に運用するとよくわかる話で、タスクごとにクリーンな状態から始めるというのは実践的な知見なんですよね。

テキトー教師DotAI 認定講師

ログの話も重要です。プロンプト、スクリーンショット、提案されたアクション、安全応答、実行されたアクションを残す。

これは障害対応にも監査にも効きます。講座でも「エージェントは何をしたか説明できなければならない」と伝えていますが、まさにその通りです。

室谷代表取締役

GUI操作の自動化という文脈だと、他社の取り組みとしてCursorが自然言語で繰り返しタスクを自動化する「/automate」とGUI操作の「computer use」を発表した事例もあります。これは今回のGoogleの発表とは別の話なので、詳細はCursorの/automateとcomputer useの解説を見てもらうとして、今回のGemini APIのComputer useはあくまでGoogleが提供するAPIツールだという点は区別しておきたいですね。

テキトー教師DotAI 認定講師

そうですね。今回の資料には他社のComputer use関連動向についての記載はありませんから、比較はしません。

あくまでGoogleの公式ドキュメントに書かれている事実を軸に話を進めるのが正確です。

室谷代表取締役

既存のRPAとどう違うのかという点も気になるところですが、今回の資料にはRPAとの比較についての記載はありません。現時点では明らかにされていない、というところです。

テキトー教師DotAI 認定講師

ただ、仕組みとしてスクリーンショットを見て操作を生成するというアプローチは、従来のセレクタベースの自動化とは発想が違う、ということはドキュメントの記述から読み取れます。そこは用途に応じて使い分ける話になるでしょう。

よくある質問

室谷代表取締役

ここまでの内容を踏まえて、よく聞かれそうな点を整理しておきますね。

テキトー教師DotAI 認定講師

まず「Computer useは何をしてくれるのか」という質問。これはスクリーンショットを通じて画面を見て、クリックやキー入力などのUI操作を生成するツールです。

ただし実行するのはクライアント側の環境で、モデル自身がPCを操作するわけではありません。

室谷代表取締役

「どのモデルを使えばいいか」については、推奨はGemini 3.8 Flash。複雑な推論やエージェント的UIワークフローならGemini 4 Argon、低レイテンシとコスト効率ならGemini 3.5 Flash-Lite、プレビューならGemini 3 Flash Previewという選択肢が公式に示されています。

テキトー教師DotAI 認定講師

「日本からいつ使えるか」は、今回の資料にはComputer use固有の提供開始日の記載がなく、現時点では明らかにされていません。GAになったのは2026年10月30日付でInteractions APIとGenerateContent APIの両方、というのが確認できる事実です。

室谷代表取締役

「料金はいくらか」も、Computer use固有の料金は今回の資料には記載がありません。Gemini APIの料金ページを確認する必要があります。

テキトー教師DotAI 認定講師

「安全性は大丈夫か」については、ドキュメントがエラーやセキュリティ脆弱性を含み得ると明記していて、重要タスクでは人間による監督を推奨しています。サンドボックス実行、HITL、プロンプトインジェクション検出などのベストプラクティスが定義されているので、それに従うのが前提です。

室谷代表取締役

「プロンプトインジェクション検出は既定で有効か」という点は、オプトインで既定はfalseです。使うなら明示的に有効化する必要があります。

テキトー教師DotAI 認定講師

「プレビューから何か変わったか」については、破壊的変更はなく、本番向けの安定性が加わったというのが発表の主旨です。プレビューで作ったものはそのまま本番に移せる、という整理になります。

室谷代表取締役

「Webアプリのテスト自動化に使えるか」については、ドキュメントがユースケースとしてWebアプリケーションとユーザーフローの自動テストを挙げています。ただし精度やレイテンシの具体的な数値は今回の資料には記載がないので、そこは実環境で検証するしかないですね。

テキトー教師DotAI 認定講師

最後に「始め方は」ですが、セキュアな実行環境とクライアント側のアクションハンドラを用意して、google-genaiの2.7.0以上でcomputer_useツールを有効にしてリクエストを送る。返ってきたアクションを実行して新しいスクリーンショットを返すループを組む、という流れです。

公式のリファレンス実装とBrowserbaseのデモ環境から始めるのが早いと思います。

室谷代表取締役

というわけで、Gemini APIのComputer useがGAになった話でした。プレビューからの破壊的変更なしで本番に移せるのは大きいので、エージェント開発を検討している方は公式ドキュメントを一度読んでみてください。

安全設計まで含めて整っているのが、今回の発表のいちばんのポイントなんですよね。