Cloudflareは、AI検索エンジンPerplexityがウェブサイトのブロック方法を無視して情報を収集していると発表しました。これに対し、多くの人々がPerplexityを擁護しています。Perplexityがウェブサイトの所有者の意向に反してアクセスすることは議論を呼んでいますが、許容されるべきだとの意見もあります。AIエージェントがインターネット上で増加する中で、この論争は今後も続くと見られています。
Cloudflareは、ボットのクロール防止やウェブセキュリティサービスを提供しており、今回のケースでは新しいドメインを持つウェブサイトを設定し、PerplexityのAIクロールボットをブロックするrobots.txtファイルを設置しました。その上で、Perplexityにウェブサイトの内容を問い合わせたところ、回答が得られたということです。
Cloudflareの研究者たちは、AI検索エンジンが「macOS上のGoogle Chromeを装った一般的なブラウザ」を使用していたことを発見しました。CloudflareのCEO、マシュー・プリンス氏はXに研究結果を投稿し、「一部の『評判の良い』AI企業は北朝鮮のハッカーのように振る舞っている。彼らを名指しで批判し、厳しくブロックする時が来た」と述べました。
しかし、多くの人々はプリンス氏の評価に同意せず、Perplexityを擁護しています。XやHacker Newsなどのサイトでは、Cloudflareが記録したのは、ユーザーが特定の公開ウェブサイトを問い合わせた際のAIのアクセスであるとの指摘がありました。
Perplexityの広報担当者は、TechCrunchに対して、ボットは同社のものではないと否定し、Cloudflareのブログ投稿を同社の販売促進と批判しました。翌日、Perplexityは自身のブログでCloudflareを批判しつつ、問題の行動は時折使用する第三者サービスによるものだと主張しました。
Perplexityの投稿では、「自動クロールとユーザー主導の情報取得の違いは技術的なものだけでなく、誰がオープンなウェブ上の情報にアクセスするかという問題だ」と述べ、Cloudflareのシステムが正当なAIアシスタントと実際の脅威を区別するのに不十分であると主張しました。
Cloudflareは、OpenAIが同様の行動をとらないことを理由にPerplexityを批判しています。プリンス氏は、「OpenAIはロボット.txtを尊重し、ネットワークレベルのブロックを回避しない優良なAI企業の例だ」と述べ、ChatGPTエージェントが新しい標準であるWeb Bot Authを使用してhttpリクエストを署名していると説明しました。
この論争は、ボット活動がインターネットを再形成する中で起きています。TechCrunchによれば、AIモデルを訓練するために大量のコンテンツをスクレイピングするボットが、特に小規模サイトにとって大きな脅威となっています。
インターネットの歴史上初めて、ボット活動が人間の活動を上回っており、AIトラフィックが全体の50％以上を占めています。悪意のあるボットはインターネットトラフィックの37％を占めており、継続的なスクレイピングや不正ログイン試行などが含まれています。
今後、LLMが増える中で、ウェブサイトがボット活動を阻止することが一般的になるか、またはビジネス利益を損なうことになるのか、議論が続いています。