グーグルは、Mac版のGeminiアプリに「コンピュータ使用(Computer use)」機能を追加したと発表しました。この機能により、Geminiがユーザーの代わりにデスクトップアプリやウェブサイトを操作し、複数ステップのタスクを自動で実行できるようになります。米国英語で本日から提供を開始し、Google AI Plus、Pro、Ultraの有料サブスクリプション加入者が利用できます。
ポイント
- Mac版Geminiアプリに「コンピュータ使用」機能が追加
- ローカルのデスクトップアプリとウェブの両方で操作が可能
- メニュー操作やフォーム入力など多段階のタスクを代行
- 米国英語で提供開始、AI Plus、Pro、Ultra加入者が対象
- 安全対策としてワンクリック停止、ログイン・支払い時の一時停止などを実装
従来の機能との違い
これまでのMac版Geminiアプリに搭載されていた「タスク(旧Gemini Spark)」機能は、@Gmailや@Googleカレンダーなどの「接続アプリ」と連携してローカルファイルにアクセスするにとどまっていました。今回のコンピュータ使用機能では、Geminiがユーザーの代わりにクリックやタイピングを行い、ローカルデスクトップアプリやウェブ上での多段階のタスクを実行できます。例えば、メニューをたどったり、フォームに入力したりといった操作が可能です。
仕組みと安全性
Geminiは「チャット内にライブプレビューが表示される独立したバックグラウンドウィンドウ」で動作します。そのため、ユーザーのメイン画面やカーソルは自由に使うことができます。安全性については、ワンクリックでいつでもGeminiを停止できるほか、Geminiが使用するアプリをユーザー自身が選択できます。また、ログインや支払いの場面では処理を一時停止し、機密性の高い操作には確認を求める仕組みです。
利用方法と対応アプリ
利用するには、プロンプトに「@Computer use」と追加します。「カスタマイズ」→「コネクタ」の画面では、既存のGitやObsidianの連携に加え、BlenderやAutodesk Fusionといった新しい「デスクトップ」アプリが表示されます。
背景
グーグルは生成AI「Gemini」を様々なプラットフォームに展開しており、Mac版アプリもその一つです。コンピュータ使用機能は、AIが実際にコンピュータを操作する「AIエージェント」の流れに沿ったものです。日常的なタスクの多くは、互いに連携していないデスクトップアプリとウェブサイトにまたがっており、こうした煩雑な作業をバックグラウンドで処理することで、ユーザーは画面やカーソルを占有されることなく時間を節約できます。
日本のユーザーへの影響
現時点では米国英語での提供開始がアナウンスされており、日本での提供時期や日本語対応については明らかにされていません。今後、対応地域や言語が拡大するかどうかが注目されます。
