Gemini 3 Flashは、新しい機能「エージェンティックビジョン」により、画像関連タスクの精度を向上させると発表しました。この機能は、視覚的証拠に基づいた回答を実現することを目的としています。
フロンティアAIモデルであるGeminiは、通常、世界を単一の静的な視点で処理します。しかし、マイクロチップのシリアルナンバーや遠くの道路標識などの細かいディテールを見逃すと、推測に頼ることになります。
この新しいアプローチは、視覚を「能動的な調査」として扱うもので、視覚的推論をコード実行やその他のツールと組み合わせる方針です。
Gemini 3 Flashは、画像を用いたプロンプトに答える際に、「ズームインし、画像を段階的に調査し、操作する計画」を立てます。具体的には、「考える、行動する、観察する」というループを活用します。
Gemini 3 Flashは、与えられた画像を単に説明するのではなく、コードを実行してキャンバス上に直接描画し、その推論を根拠付けることができます。Geminiアプリの例として、「手の指の数を数える」ことが挙げられます。
数え間違いを避けるために、Pythonを用いて各指に境界ボックスと数値ラベルを描画します。この「ビジュアルスクラッチパッド」は、ピクセル単位での理解に基づいて最終的な回答を保証します。
さらに、Gemini 3 Flashは、画像内の細かいディテールを検出した際にズームインします。エージェンティックビジョンは、高密度な表を解析し、Pythonコードを実行して結果を視覚化することも可能です。
標準的な大規模言語モデル（LLM）は、視覚的な算術を行う際にしばしば誤りを生じますが、Gemini 3 Flashは、計算を決定論的なPython環境に委ねることでこれを回避します。これにより、推測ではなく検証可能な実行が可能になります。
エージェンティックビジョンは、Gemini 3 Flashにおいて、ほとんどの視覚ベンチマークで5〜10%の品質向上をもたらすということです。
この機能は、Thinkingモデルと共にGeminiアプリで展開が始まっています。開発者向けには、Google AI StudioおよびVertex AIのGemini APIで利用可能です。
将来的には、Gemini 3 Flashは画像の回転や視覚的な数学を「明示的なプロンプトの誘導なしに」実行する能力を高める方針です。現在、エージェンティックビジョンはズームのタイミングを暗黙的に判断します。
コード実行に加え、将来的なツールでは、ウェブや逆画像検索を利用してGeminiの世界理解をさらに深める計画です。エージェンティックビジョンは、他のGeminiモデルでも利用可能になる予定です。
