Googleは、AIモデルがAndroidコーディング支援でどれだけ優れているかを示す「Android Bench」のリストを更新しました。最新のClaudeやGPTモデルと比較して、GoogleのGemini 4 Argonは大きく後れを取っています。
ポイント
- Android Benchは今年初めに導入された、Android開発者向けのAIモデル評価指標。
- 10月26日の更新で、各モデルの推論レベルとコストが追加された。
- Claude Sonnet 5.5が通過率40%、完了率80.9%で首位。
- Gemini 4 Argonは通過率21.3%で5位にとどまる。
- GPT-6.1 Solは通過率29.3%ながらコストは99.50ドル（約1万5400円）と低い。
Android Benchの概要
Android Benchは、Android開発者がAIモデルをコーディング支援に活用する際の判断材料として、今年初めに導入されました。Googleのテストに基づき、Androidコーディング特有の要素や開発のベストプラクティスを考慮しています。Googleはテストを続ける中で、開発者がニーズに合った選択をできるよう、平均コストもベンチマークに含めるようになりました。
10月26日の更新内容
10月26日の更新で、Googleは各モデルが使用した推論レベルを追加しました。さらに、OpenAIのGPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5、そしてGoogle自身のGemini 4 Argonの結果を新たに加えました。
ランキング結果
現在首位はClaude Sonnet 5.5で、通過率40%、完了率80.9%を記録しています。10月初めにリストに加わったClaude Opus 5.5が2位です。
OpenAIのGPT-6.1 Solは通過率29.3%、完了率82.8%で、コストはわずか99.50ドル（約1万5400円）です。首位のClaudeのコスト1574.90ドル（約24万4000円）と比べて大幅に低く、注目されます。
一方、GoogleのGemini 4 Argonは通過率21.3%、完了率81.8%、平均コスト267.70ドル（約4万1500円）で5位にとどまり、他の最先端モデルに大きく後れを取っています。Claude Fable 5.1よりも下位です。
内部からの声
Gemini 4 Argonの発表直後の報道によると、一部の内部関係者が「特定のコーディングタスクの処理に苦戦している」と指摘しましたが、Googleはその能力を擁護しています。
