アメリカのAI評価スタートアップ企業「Vals」は、AIモデルの性能を測定する新たなベンチマーク（評価指標）の構築に向け、事業を拡大していると発表しました。同社は先月、大手ベンチャーキャピタルなどから4000万ドル（約62億円）の資金調達を実施したということです。
AIモデルの性能を証明するため、ベンチマークは業界の標準となっています。しかし、従来の評価システムは古く、現代のAIモデルの能力を正確に測ることが難しくなっています。また、企業側が評価システムを出し抜く方法を見出しているという課題もありました。
2024年に設立されたValsは、この不完全なシステムを修正することを目指しています。同社は設立から2年足らずでテクノロジー業界において注目を集める存在となりました。昨年にはシードラウンドでの資金調達を完了し、先月にはアメリカの大手ベンチャーキャピタル「アンドリーセン・ホロウィッツ」が主導するシリーズAラウンドで、4000万ドル（約62億円）を調達しました。
共同創業者で25歳のラヤン・クリシュナン氏は、これまでアメリカのソフトウェア大手パランティアでインターンを経験したほか、スタンフォード大学在学中にはマイクロソフトや同大学のAI研究所で勤務した経歴を持ちます。
クリシュナン氏によれば、Valsは、ベンチマークがAI業界の急速な進歩に追いついていないという自身の気づきから生まれました。「非常に優秀な新しいモデルが次々と市場に登場する一方で、学術的なベンチマークはその最先端の進歩に対応できていませんでした」と述べています。AIが社会のあらゆる分野に浸透する中、企業が宣伝する通りの能力をモデルが実際に備えているか、検証する仕組みが必要だとしています。
Valsは、従来の評価システムとは異なるアプローチを採用しています。多くのベンチマークはテスト内容が公開されているため、企業がそのテストに合わせてモデルを訓練し、いわば「カンニング」をすることが可能です。一方、Valsは具体的なテスト内容を公開していません。
また、AIモデルの一般的な知識を測るだけでなく、法律、金融、プログラミングといった特定の業界に関連する複雑なタスクの遂行能力も評価しています。クリシュナン氏は「私たちが注目しているのは、モデルがもたらす実際の影響です。あらゆる分野で、人間と同等の品質の成果物を出せるかを検証しています」としています。
さらに、肯定的な結果だけでなく、否定的な結果についても検証する方針です。AIモデルが制御不能になった場合、どのような悪影響を及ぼすかを分析することが目的だということです。
Valsが測定する能力の範囲は拡大を続けています。従来の産業に加え、精神保健、サイバーセキュリティ、バイオセキュリティのほか、ジュネーブ条約の適用方法を理解するための武力紛争法など、独自の分野にも進出しています。
企業はValsに料金を支払って自社のモデルをテストします。自社のモデルの性能が低いことを知るためにお金を払うのは奇妙に思えるかもしれませんが、正確な測定は問題解決や継続的な改善に役立ちます。この評価結果は、新たなAIモデルの導入を検討する企業にとって、重要な判断材料になりつつあるということです。
同社は最近、収益が昨年の8倍に達したことを明らかにしました。今年初めに8人だった従業員数はすでに25人に増加しており、今後さらに10人から15人を採用し、より広いオフィスへ移転する計画です。また、連邦政府機関にモデル評価を提供するプログラムも新たに開始しました。
クリシュナン氏は、自社のベンチマークシステムが、AI企業の成長と社会的信用の確立において将来的に不可欠なものになると見込んでいます。
クリシュナン氏は「有力な新興企業が株式公開を視野に入れる中、AIモデルが経済の中核となり、より広く普及するにつれて、私たちが提供するようなベンチマークや評価がその利用を後押しすることになります。そして、企業が公的機関に書類を提出したり、今後のAI投資について説明したりする際の中心的な役割を果たすことになるでしょう」と述べています。
