グーグルは、2025年5月のI/Oカンファレンスで、音声によるスマートフォン操作技術の最新プロトタイプを公開したと発表しました。この技術は、ウェブやChromeからのコンテンツ取得、YouTube動画の検索・再生、メールの検索、電話の発信、注文の代行などを可能にするものです。
このデモは約2分間で、ジェミニがAndroidのChromeでPDFをスクロールし、YouTubeアプリを開いて検索結果ページを表示し、動画を選択する様子を示しました。グーグルはこれらの機能をジェミニライブに導入する方針です。
10月には、開発者向けにコンピュータ使用モデルをプレビューで提供し、ジェミニが人間のようにUIをスクロール、クリック、入力できるようにしました。この機能は「ウェブブラウザに最適化されている」としつつ、「モバイルUI制御タスクに対しても強い可能性がある」としています。
グーグルはこれらの機能を「強力で汎用的なエージェントを構築するための重要な次のステップ」とし、「多くのデジタルタスクは依然としてグラフィカルユーザーインターフェースとの直接的な相互作用を必要とする」ということです。
一方、アップルは2024年に、Siriを使ってアプリ間での操作を音声で行える未来像を提示しました。アップルはアプリ開発者がこの機能をサポートするために必要な手順を詳述していますが、グーグル、特にAndroidチームからは類似のシステムやアプローチに関する具体的な発表はありません。
Siriはアプリ間での操作が可能で、例えば「この写真を際立たせて」と指示すると、その写真をNotesアプリの特定のノートに追加することができるということです。
グーグルが示したのは、特定の統合を必要としない非常に一般化されたアプローチで、Android開発者がこの機能をアプリに急いでサポートしなくても良いという実用的な方法です。
2019年には、デバイス内音声処理を活用した新しいGoogleアシスタントが発表され、音声での操作が可能になりましたが、当時はPixel限定で、音声コマンドの制約がありました。
LLMs（大規模言語モデル）は、会話のような口調での指示を可能にし、Appleのシステムのような制約を克服する可能性があるということです。
生成AIは、グーグルの過去のアプローチに対するすべての不満を解決するように見えますが、今回はどのように受け入れられるかが注目されます。
この音声操作が主流となることで、スマートグラスやスマートウォッチへの影響は大きいと考えられます。特に、スマートフォンの画面をオフにしたままで、イヤホンなどの二次デバイスから情報を受け取ることができるということです。
将来的に、この音声操作がタッチ操作に代わる主要なユーザーインターフェースになるかどうかが大きな疑問です。
