クラウドフレアは、ウェブサイトがAIボットに対してスクレイピングの料金を請求できる新しいマーケットプレイス「Pay per Crawl」を発表しました。これにより、出版社はコンテンツ管理の新たなビジネスモデルを模索することが可能になるということです。
クラウドフレアはこれまで、AIクローラーの急増に対応するためのツールを提供してきました。これには、すべてのAIボットをワンクリックでブロックする機能や、AIクローラーがどのようにサイトを訪れているかを確認できるダッシュボードが含まれています。
クラウドフレアのマシュー・プリンスCEOは、2024年のインタビューで、これらの製品が新しいタイプのマーケットプレイスの基盤を築くものであると述べています。このマーケットプレイスでは、出版社がAI企業にコンテンツを配信し、その対価を得ることができるとしています。
このマーケットプレイスは現在、プライベートベータ版として開始されており、ウェブサイトの所有者はAIクローラーに対して個別にスクレイピングを許可するか、無料で許可するか、完全にブロックするかを選択できます。クラウドフレアは、これらのツールを通じて、クローラーがAIのトレーニングデータを収集しているのか、AI検索応答に表示されるためのデータを収集しているのか、その他の目的で使用されているのかを確認できるとしています。
このマーケットプレイスの規模が拡大すれば、AI時代における出版社の新たなビジネスモデルを提供する可能性があります。クラウドフレアは、出版社が自らの条件で価格を設定できる、より持続可能なシステムの構築を目指しています。
また、新たにクラウドフレアを利用するウェブサイトは、デフォルトですべてのAIクローラーをブロックする方針です。サイトの所有者は、特定のAIクローラーにアクセス許可を与える必要があります。これにより、すべての新しいドメインに「コントロールのデフォルト」を提供するということです。
いくつかの大手出版社、例えばコンデナストやTIME、AP通信、The Atlantic、ADWEEK、Fortuneなどは、クラウドフレアと提携し、AIクローラーをデフォルトでブロックすることに同意しています。
クラウドフレアのデータによれば、Googleのクローラーは、サイトへのリファラルを1回提供するごとに14回スクレイピングを行っているとされています。一方、OpenAIのクローラーは、リファラル1回につき1,700回、Anthropicは73,000回スクレイピングを行っています。
クラウドフレアは、Pay per Crawlの「真の可能性」は、将来的にエージェントが主流となる時代に現れるとしています。クラウドフレアのブログ投稿では、エージェントがネットワークエッジで完全にプログラム的に動作するペイウォールを想定しており、ユーザーが特定の研究や情報を取得するためにエージェントに予算を与えることができるとしています。
クラウドフレアのスポークスパーソン、リプリー・パーク氏は、現在のところ、Pay per Crawlにはステーブルコインや暗号通貨は関与していないと述べています。しかし、クラウドフレアは将来的に自社のステーブルコインを導入する可能性を検討しているとしています。
このマーケットプレイスは、出版社とAI企業が参加することで実現される大胆なビジョンです。しかし、出版社が良い取引を得られる保証はなく、AI企業を参加させることも容易ではないとされています。それでも、クラウドフレアはこのようなマーケットプレイスを実現する立場にある数少ない企業の一つとされています。
