Appleは、数か月前に高速なビデオキャプションを実現するビジュアルランゲージモデル「FastVLM」を発表しました。現在、このモデルはApple Siliconを搭載したMacで試すことができるということです。
FastVLMは、Apple独自のオープンMLフレームワーク「MLX」を活用しており、類似のモデルと比べて85倍の速度でビデオキャプションを生成し、サイズも3倍以上小さいとしています。
このプロジェクトはその後も進展し、現在ではGitHubだけでなくHugging Faceでも利用可能です。Hugging Faceでは、軽量版のFastVLM-0.5Bをブラウザ上で読み込むことができ、自分で試すことができるということです。
使用するハードウェアによって読み込みに時間がかかる場合がありますが、16GBのM2 Pro MacBook Proでは数分で読み込みが完了しました。読み込み後、モデルはユーザーの外見や背景の部屋、様々な表情や持ち込んだ物を正確に説明しました。
画面左下では、モデルがキャプションをライブ更新する際に考慮するプロンプトを調整することができ、いくつかの提案から選ぶことも可能です。
さらに試してみたい場合は、仮想カメラアプリを使ってツールにビデオを供給し、複数のシーンを詳細に即座に説明する様子を見ることができます。実際の使用例は異なるかもしれませんが、モデルの速度と正確さを示すものです。
この実験で特に興味深いのは、ブラウザ上でローカルに実行されるため、データがデバイスを離れることがなく、オフラインでも動作するという点です。これは、軽量性と低遅延が重要なウェアラブルや支援技術において優れた使用例となる可能性があります。
デモは0.5億パラメータの軽量モデルで実行されますが、FastVLMファミリーには1.5億や7億パラメータのより大きく強力なバリアントも含まれています。より大きなモデルでは性能と速度がさらに向上する可能性がありますが、ブラウザで直接実行するのは難しいかもしれません。
試してみましたか？コメントで感想を共有してください。
