NVIDIAはテキサス大学オースティン校（UT-Austin）などの研究機関と共同で、AIのリアルタイム対話能力を測る新しいベンチマーク「Realtime-Bench」を公開しました。刻々と変化する環境下で大規模言語モデル（LLM）がどこまで対応できるかを評価するものです。世界の最先端モデル12種類を試した結果、最も成績の良かったGPT-6-Astraでもタスク成功率は44%にとどまりました。
ポイント
- NVIDIAとUT-Austinなどがリアルタイム対話のベンチマーク「Realtime-Bench」を公開
- 8種類の場面をカバーする50個のタスクで構成
- リアルタイム知覚・時間適応型推論・行動タイミングの3能力を評価
- 最先端モデル12種類をテスト、最高はGPT-6-Astraの成功率44%
- 推論強度を高めた場合、3回連続で成功する確率は36%にとどまる
ベンチマークの仕組み
Realtime-Benchは、8種類の場面をカバーする50個のタスクで構成されています。評価の中心となるのは、リアルタイム知覚、時間適応型推論、行動タイミングの把握という3つの能力です。
研究者らは、環境の進み方を3種類の異なるクロックプロトコルで設定しました。これにより外部の妨害要因を除き、モデルが動的な処理で発揮する性能そのものを捉えられるとしています。
評価結果
研究者らはこのベンチマークで世界の最先端モデル12種類をテストしました。実際の推論所要時間に合わせて環境を進める厳しい条件では、最高性能のGPT-6-Astraでもタスク成功率は44%でした。
さらに推論強度を高めた設定では、モデルが3回すべて成功する確率は36%に下がりました。低遅延と深い推論能力を両立させるのが、依然として難しいことを示す結果です。
今後の課題
実験からは、推論強度をやみくもに高めても根本的な課題は解決できないことがうかがえます。現在の主流AIがリアルタイムタスクで弱点を抱えていることが、今回の評価で明らかになりました。
