新しいAIコーディングチャレンジ「Kプライズ」の初回結果が発表され、優勝者が決定しました。非営利団体のラウデ研究所は、データブリックスとパープレクシティの共同設立者であるアンディ・コンウィンスキー氏が開始したKプライズの最初の優勝者を発表しました。優勝者はブラジルのプロンプトエンジニア、エドゥアルド・ロチャ・デ・アンドラーデ氏で、賞金として500万円（約7750万円）を受け取ることになりました。しかし、彼の最終スコアは試験の質問に対する正答率がわずか7.5%であることが明らかになり、驚きをもたらしました。
コンウィンスキー氏は、「実際に難しいベンチマークを作れたことを嬉しく思います。ベンチマークは重要であるためには難しいものであるべきです」と述べ、「大手研究所が最大のモデルを持ち込んでいたらスコアは異なっていたでしょう。しかし、それがポイントです。Kプライズはオフラインで限られた計算能力で実行されるため、小規模でオープンなモデルに有利です。私はそれが好きです。それは競争を公平にします」としています。
コンウィンスキー氏は、テストで90%以上のスコアを獲得できる最初のオープンソースモデルに100万ドル（約1億5500万円）を提供することを約束しています。
Kプライズは、よく知られたSWEベンチシステムと同様に、GitHubからフラグされた問題に対するモデルの対応力をテストします。しかし、SWEベンチがモデルがトレーニングできる固定された問題セットに基づいているのに対し、Kプライズは「汚染のないSWEベンチ」として設計され、特定のベンチマークトレーニングを防ぐための時間制エントリーシステムを使用しています。第1ラウンドでは、モデルは3月12日までに提出され、その後、Kプライズの主催者がその日以降にフラグされたGitHubの問題のみを使用してテストを構築しました。
7.5%というトップスコアは、現在75%のトップスコアを示すSWEベンチの「検証済み」テストや34%の「完全」テストと大きく対照的です。コンウィンスキー氏は、この差がSWEベンチの汚染によるものか、GitHubからの新しい問題の収集の難しさによるものかはまだ分からないとしていますが、Kプライズプロジェクトがこの疑問に答えることを期待しています。
「これを何度も実行することで、より良い感覚を得ることができるでしょう」と彼はTechCrunchに語り、「数ヶ月ごとにこの競争のダイナミクスに人々が適応することを期待しています」と述べました。
既に多くのAIコーディングツールが公開されている中で、これが欠点となるのは奇妙に見えるかもしれませんが、ベンチマークがあまりにも簡単になりすぎているため、多くの批評家はKプライズのようなプロジェクトをAIの評価問題を解決するための必要なステップと見ています。
「既存のベンチマークのための新しいテストを構築することに非常に前向きです」と、プリンストン大学の研究者サヤシュ・カプール氏は最近の論文で同様のアイデアを提唱し、「そのような実験がなければ、汚染の問題なのか、あるいは人間が介入することでSWEベンチのリーダーボードを狙っているのかを実際に判断することはできません」と述べています。
コンウィンスキー氏にとって、それは単なるより良いベンチマークではなく、業界全体へのオープンな挑戦です。「ハイプを聞くと、AI医師やAI弁護士、AIソフトウェアエンジニアが登場するはずですが、それは真実ではありません」と彼は言います。「汚染のないSWEベンチで10%以上を獲得できないのなら、それが私にとっての現実確認です」としています。
