AIビデオおよび3Dモデルのスタートアップ企業であるLumaは、新しいモデル「Ray3 Modify」を発表しました。このモデルは、既存の映像を編集する際に、元の映像のパフォーマンスを保持しながらキャラクターの参照画像を提供することができるということです。ユーザーは開始フレームと終了フレームを指定し、移行映像を生成することも可能です。
Lumaによれば、「Ray3 Modify」モデルは、クリエイティブスタジオがAIを使用して映像を編集または生成する際に、人間のパフォーマンスを保持する問題を解決するということです。このモデルは入力映像をより忠実に再現し、人間の俳優をクリエイティブやブランド映像に使用することを可能にする方針です。
この新しいモデルは、俳優の元の動き、タイミング、視線、感情の表現を保持しながら、シーンを変換するということです。ユーザーは、変換のためのキャラクター参照を元の映像に提供し、俳優の外見をそのキャラクターに変換することができます。この参照により、撮影全体で衣装や類似性、アイデンティティを保持することが可能です。
さらに、ユーザーは開始と終了の参照フレームを提供し、新しい「Ray3 Modify」モデルを使用して映像を作成することができます。これにより、クリエイターはシーン間の連続性を維持しながら、移行を指示したり、キャラクターの動きや行動を制御したりすることができます。
Lumaの共同創業者兼CEOのアミット・ジェイン氏は声明で、「生成的なビデオモデルは非常に表現力豊かですが、制御が難しいです。今回、現実世界とAIの表現力を融合し、クリエイティブに完全な制御を提供する『Ray3 Modify』を紹介できることを楽しみにしています。これにより、クリエイティブチームはカメラでパフォーマンスをキャプチャし、その後すぐに任意の場所でシーンを変更したり、衣装を変えたり、物理的な撮影を再現することなくAIでシーンを再撮影することが可能になります」と述べています。
Lumaは、新しいモデルが同社の「Dream Machine」プラットフォームを通じてユーザーに提供されるとしています。Lumaは、RunwayやKlingと競合しており、2025年6月に映像編集機能をリリースしました。
このモデルのリリースは、サウジアラビアの公共投資ファンドが所有するAI企業Humainが主導した9億ドル（約1兆3950億円）の資金調達ラウンドによるもので、11月に発表されました。既存の投資家であるa16z、Amplify Partners、Matrix Partnersもこのラウンドに参加しました。スタートアップは、Humainとともにサウジアラビアに2GWのAIクラスターを構築する計画も進めています。