アメリカのIT大手、グーグルは、AI＝人工知能が複雑な開発作業をどの程度処理できるかを評価する指標の最新版、「Android Bench 2.0（アンドロイド・ベンチ2.0）」を開発したと発表しました。
初期のバージョンでは、バグの修正や小規模な機能の追加など、既存のプログラムに対する段階的な変更に重点が置かれていました。これに対し、今回のバージョン2.0では、エンジニアが数日から1週間かけて行うような、非常に複雑な作業を評価の対象としています。具体的には、新しい機能の追加や、ゼロからのアプリ開発、さらに異なる基本ソフトに対応したアプリの「アンドロイド」向けへの変換などが含まれるということです。
評価対象の変更に伴い、従来の「合格か不合格か」という2択の評価から、より詳細で連続的な採点方式へと移行しました。新たな採点方式では、機能性や見た目の正確さ、プログラムの不具合の回避といった複数の要素を組み合わせて達成率を算出します。また、指示からの逸脱や構造上の制約に違反した場合には、客観的な減点が行われるとしています。
グーグルは、「Gemini（ジェミニ）3.7/3.8 Flash」やオープンAIの「GPT-6」、アンスロピックの「Fable 5.1」などの主要なAIモデルを評価しました。その結果、「GPT-6 Astra」が28％の合格率でトップとなりました。従来の評価方法では90％台のスコアが出ていましたが、課題が高度化したことで合格率が低下した形です。
また、異なる基本ソフトのアプリをアンドロイド向けに変換する作業は依然として難易度が高く、100％の合格率を達成したモデルは存在せず、最先端のモデルでも達成率は最大80％にとどまったということです。
さらに、今回の指標では、AIが自律的に作業を行う「エージェント」の評価も実施されました。各モデルの提供元が開発したエージェントを稼働させた結果、評価環境の設計が開発の成果に良い影響を与えることが確認されたとしています。グーグルは今後、さまざまなAIモデルとエージェントの組み合わせを評価対象に含めていく方針です。