グーグルは、プロジェクトマリナーとAIモードのエージェンティック機能を支えるジェミニ2.5コンピューターユースモデルのプレビューを開発者向けに開始したと発表しました。
この「専門モデル」は、特にブラウザやウェブサイトとのインターフェースが可能で、タスクが完了するまで複数のステップを繰り返すということです。
モデルがサポートする他のユーザーインターフェースアクションには、戻る/進む、ウェブ検索、特定のURLへの移動、カーソルホバー、キーボードの組み合わせ、スクロール、ドラッグ＆ドロップなどがあります。
グーグルは、3倍速の速度で以下のプロンプトを用いた2つの例を共有しました。
「https://tinyurl.com/pet-care-signup から、カリフォルニア州に居住するペットの詳細を取得し、https://pet-luxe-spa.web.app/ のスパCRMにゲストとして追加してください。その後、スペシャリストのアニマ・ラバーとのフォローアップ訪問を10月10日午前8時以降に設定してください。訪問理由はリクエストされた治療と同じです。」
「私のアートクラブはフェアに向けてタスクをブレインストーミングしました。ボードが混乱しているので、タスクを私が作成したカテゴリに整理するために助けが必要です。sticky-note-jam.web.app に行き、ノートが正しいセクションにあることを確認してください。そうでなければ、そこにドラッグしてください。」
ジェミニ2.5コンピューターユースは「主にウェブブラウザに最適化されている」とされていますが、グーグルは「AndroidWorld」ベンチマークでモバイルUI制御タスクにおける強い可能性を示しているとしています。一方、デスクトップOSレベルの制御にはまだ最適化されていないということです。
グーグルは、ウェブとモバイル制御のベンチマークで、ClaudeやOpenAIの提供と比較して強いパフォーマンスを示し、「ブラウザ制御で最低のレイテンシーでの高品質」を実現しているとしています。
このモデルは、ジェミニ2.5プロの視覚的理解と推論能力に基づいて構築されています。グーグルは「このモデルのバージョン」がプロジェクトマリナーとAIモードのエージェンティック機能を支えていると述べています。社内でのUIテストに使われ、ソフトウェア開発のスピードアップに寄与しているほか、サードパーティの開発者がアシスタントやワークフロー自動化ツールを構築するための早期アクセスプログラムも提供されています。
ジェミニ2.5コンピューターユースは、Google AI StudioおよびVertex AIのジェミニAPIを通じて本日からパブリックプレビューが利用可能です。
デモ環境はBrowserbaseでホストされていますので、ぜひお試しください。
