Appleが共同執筆した新しい研究により、AIエージェントがアプリ内での行動の影響をどれほど理解しているかが調査されました。研究は、AIエージェントがユーザーインターフェース（UI）とどのように相互作用するかを理解し評価するための詳細な枠組みを紹介しています。
この研究は、AIエージェントが単に正しいボタンを押すことができるかどうかだけでなく、そのボタンを押した後に何が起こるかを予測できるかどうか、そしてそれを実行すべきかどうかを探求しています。
研究者は、「従来の研究では、AIエージェントがUIをどのように操作するか、UI構造を理解する方法が研究されてきましたが、特にリスクがあるか不可逆的な行動の影響は未解明のままでした。この研究では、AIエージェントによるモバイルUI操作の現実世界での影響と結果を調査しています」と述べています。
研究の前提は、現在のUIエージェントの訓練データセットが比較的無害な操作で構成されていることです。そこで、研究では一歩進んで、AIが許可なく引き起こすと不快に感じる行動を記録するために、参加者に実際のモバイルアプリを使用させました。これには、メッセージの送信、パスワードの変更、プロフィールの編集、金融取引などが含まれます。
これらの行動は、新たに開発された枠組みを用いてラベル付けされ、インターフェースへの即時の影響だけでなく、「この行動はワンタップで元に戻せるか」「他者に通知されるか」「痕跡を残すか」などの要因も考慮されました。
データセットが構築された後、研究チームはGPT-4、Google Gemini、AppleのFerret-UIを含む5つの大規模言語モデルを使用して、各行動の影響をどれだけ正確に分類できるかをテストしました。
その結果、Google Geminiはゼロショットテストで56%の精度を示し、GPT-4のマルチモーダルバージョンは、思考の連鎖技術を使用してステップバイステップで評価した際に58%の精度を示しました。
音声アシスタントやエージェントが自然言語のコマンドをより正確に理解するようになった今、真の安全性の課題は、エージェントが確認を求めるべきか、あるいは行動しないべき時を判断する能力にあります。この研究はその問題を解決するものではありませんが、AIモデルが行動の影響をどれほど理解しているかをテストするための測定可能な基準を提案しています。
Appleの研究は、AIエージェントが行動の結果を予測し、それを実行前にどのように活用するかという新しい視点を提供しています。