AIプラットフォームを提供するClarifaiは、AIモデルの実行速度を2倍にし、コストを40%削減できる新しい推論エンジンを発表しました。このシステムは、さまざまなモデルやクラウドホストに適応可能で、同じハードウェアからより多くの推論能力を引き出すための多様な最適化を採用しているということです。
CEOのMatthew Zeiler氏は、「CUDAカーネルから高度な推測デコード技術に至るまで、さまざまな最適化が施されています。同じカードからより多くの成果を得ることができます」と述べています。
この結果は、第三者機関のArtificial Analysisによる一連のベンチマークテストで検証され、スループットおよびレイテンシーの業界最高記録が記録されたとしています。
このプロセスは、すでに訓練されたAIモデルを運用する際の計算需要、特に推論に焦点を当てています。エージェントモデルや推論モデルの台頭により、単一のコマンドに対して複数のステップを必要とするため、計算負荷が特に増加しているということです。
コンピュータビジョンサービスとして最初に開始されたClarifaiは、AIの需要急増に伴い、GPUやデータセンターの需要が急増する中で、計算オーケストレーションにますます焦点を当てています。同社は昨年12月にAWS re:Inventで計算プラットフォームを初めて発表しましたが、今回の推論エンジンは、特にマルチステップのエージェントモデルに特化した初の製品です。
この製品は、AIインフラストラクチャに対する強い圧力の中で登場しました。OpenAIは、今後1兆ドル（約155兆円）に及ぶデータセンター投資計画を発表し、計算需要の無限の未来を見込んでいます。しかし、ハードウェアの構築が激しい中、ClarifaiのCEOは既存のインフラストラクチャの最適化にまだ多くの可能性があると考えています。
Zeiler氏は、「Clarifaiの推論エンジンのようなソフトウェアの工夫が良いモデルをさらに進化させることができますが、ギガワット級のデータセンターの必要性を軽減するアルゴリズムの改善も可能です。そして、アルゴリズムの革新はまだ終わっていないと考えています」と述べています。
