プリンストン大学のAI Labの研究チームは、人工知能（AI）の空間知能を測る新しいベンチマーク「SSoN」を発表しました。静的な画像から3次元空間を理解する能力を調べるもので、人間の正答率83.3%に対し、主流の視覚言語モデルは最高でも39.7%にとどまりました。現在のAIが空間の幾何推論を苦手とする実態が浮き彫りになっています。
ポイント
- プリンストン大学AI Labが空間知能ベンチマーク「SSoN」を発表
- 4枚の静止画から「別の部屋の画像」を選ばせる4択問題
- 人間の正答率は83.3%、視覚言語モデルは最高39.7%
- 多くのモデルは4択のランダム推測を下回る
- 目的を絞った教師ありファインチューニングで正答率がほぼ倍増
テストの仕組み
SSoNの中核となるタスクは直感的です。モデルに屋内シーンの静止画を4枚提示し、同じ空間に属さない「異常な画像」を1枚選ばせます。
動的な操作や動作制御の要素を除くことで、AIが静的な複数視点の環境で3次元空間を統合して理解できるかを直接確かめる設計です。
人間は生活経験と直感から空間的な矛盾を容易に見抜けます。一方、現在の視覚言語モデルはこの種の問題で苦戦しています。
明らかになった3つの課題
研究チームが解答内容を分析したところ、現在の大規模言語モデル（LLM）には3つの課題があることが分かりました。
1つ目は、移動や回転の推論が特に弱い点です。物体の相対位置の変化や視点の回転を伴う問題では、誤答率が高いままでした。
2つ目は、正解しても理由を説明できない点です。少数の正解のうち約3割は推論の説明が論理的に成立しておらず、「当てずっぽうで正解した」ケースに当たります。
3つ目は、全体の正答率が4択のランダム推測を下回るモデルが多い点です。安定した3次元空間の直感がまだ身についていないことを示しています。
改善に向けた介入実験
研究チームは、AIがこの弱点を克服できるかを探るため、いくつかの介入実験を行いました。
テキストプロンプトで誘導したり、従来の3次元再構成の処理を組み込んだりしても、成績の向上は小幅にとどまりました。
実際のカメラパラメータをモデルに与えると性能は大きく改善しましたが、それでも半数以上の問題には確実に正答できませんでした。
一方、このタスクに特化した教師ありファインチューニングを行うと、未見の新しい部屋の問題で正答率がほぼ倍増しました。
研究チームは、大規模モデルの空間的な一貫性の判断能力は克服不可能ではなく、狙いを定めた教師あり訓練で転移・向上が可能だと結論づけています。SSoNは、AIの3次元空間の統合における課題を直接示すとともに、今後の研究の方向性を提示するものだとしています。
