グーグルが10月28日に発表した新しいフロンティアAIモデル「Gemini 4 Carbon」は、AI研究・分析会社SemiAnalysisが公開した新ベンチマーク「GDPx」で、アンソロピックの「Claude Opus 5.5」に次ぐ2位となった。性能差は僅かだが、タスクあたりのコストはClaudeの約51ドル(約7900円)に対し約16ドル(約2480円)と大幅に安く、コスト効率の高さが際立っている。
ポイント
- Gemini 4 CarbonはGDPxベンチマークでClaude Opus 5.5に次ぐ2位
- タスクあたりコストは約16ドル(約2480円)で、Claudeの約51ドル(約7900円)より安い
- GPT-6 Astra(約54ドル・約8370円)よりも低コストで高スコア
- サイバーセキュリティ分野ではMetaのMuseモデルが「有意な差」で最高評価
- 一般提供は「近日中」で、正式日は未発表
GDPxベンチマークの概要
SemiAnalysisのGDPxは、金融、材料科学、サイバーセキュリティ、ソフトウェア工学、法律、生物学など複数分野にわたる206のタスクで構成される。OpenAI、アンソロピック、Metaなど主要企業のフロンティアモデルを対象に、スコアとコストの両方を比較している。
スコアとコストの比較
首位はアンソロピックのClaude Opus 5.5で、Gemini 4 Carbonはこれに非常に近い2位につけた。両者の性能差は比較的小さいが、コスト面では大きな開きがある。Claudeがタスクあたり約51ドル(約7900円)かかるのに対し、Geminiは約16ドル(約2480円)だ。
3位のGPT-6 AstraはスコアでGeminiを下回り、コストは約54ドル(約8370円)と両モデルより高い。
分野別の結果と安全性の影響
報告書によると、サイバーセキュリティ、生物学、アラインメント(AIの価値観調整)の分野を除外すると順位が変わる。ClaudeとGPTの安全性ガードレールにより、GPT-6 Astraが首位となり、GPT 6.1 SolとClaude Sonnet 5.5がGemini 4 Carbonを上回る。SemiAnalysisは、この結果が各モデルに対する「主観的な印象」とより一致すると述べている。
既存モデルと競合の評価
グーグルの既存フロンティアモデル「Gemini 4 Argon」は、両リストで8位となった。Metaの「Muse Wonder」を上回るが、「Wonder Full」には及ばない。ArgonのコストはこのベンチマークではCarbonよりわずかに低いのみだ。
サイバーセキュリティ分野に限ると、グーグルの両モデルはOpenAIとアンソロピックのモデルを上回るが、MetaのMuseモデルには及ばない。ベンチマークはMuseモデルを「有意な差で」最高と評価している。
今後の展開
グーグルはGemini 4 Carbonを10月28日に発表し「大幅な性能向上」をうたったが、一般公開日はまだ確認されていない。ほとんどの顧客向けには「近日公開」とされている。グーグル独自のベンチマークでは、多くの面でGPT-6 AstraとOpus 5.5を上回ったとしている。
