元Twitterの信頼安全部門責任者で、現在はMatchに所属するヨエル・ロス氏が、オープンソーシャルウェブの将来について懸念を示しました。特に、誤情報やスパム、児童性的虐待コンテンツ（CSAM）などの違法コンテンツへの対処能力が不足していると指摘しています。
ロス氏は最近のインタビューで、分散型ソーシャルウェブ（フェディバース）におけるモデレーションツールの不足を懸念していると述べました。フェディバースには、MastodonやThreads、Pixelfedなどのアプリが含まれています。
また、Twitterの信頼安全部門での重要な瞬間を振り返り、トランプ大統領のプラットフォームからの追放やロシアのボットファームによる誤情報の拡散、TwitterのユーザーやCEOジャック・ドーシー氏がボットに騙された事例を挙げました。
ロス氏は、ポッドキャスト「revolution.social」で、オープンソーシャルウェブにおける民主的運営を目指す努力が、モデレーションツールにおいて最もリソースが不足していると指摘しました。
「MastodonやActivityPubプロトコルに基づく他のサービス、Bluesky、そしてMetaが開発を始めたThreadsを見てみると、コミュニティベースのコントロールを最も重視するサービスが、コミュニティに対して最も少ない技術的ツールを提供していることが分かりました」とロス氏は述べています。
また、Twitterがかつて持っていた透明性と決定の正当性において、オープンソーシャルウェブが「かなりの後退」を見せているとも述べました。多くの人が当時Twitterのトランプ追放決定に反対したが、同社はその理由を説明しました。しかし現在、ソーシャルメディアプロバイダーは悪意のある行為者を防ぐことに懸念を抱き、説明を行うことが少なくなっています。
一方、多くのオープンソーシャルプラットフォームでは、ユーザーが投稿の禁止について通知を受けることはなく、投稿が消えるだけで、他の人にその投稿が存在していたことすら分かりません。
「新しいソフトウェアがすべての機能を備えていないことを非難するつもりはありませんが、プロジェクトの目的がガバナンスの民主的正当性を高めることだった場合、ガバナンスにおいて後退したのであれば、それが本当に機能しているのか疑問です」とロス氏は述べました。
また、モデレーションの経済性と、フェデレーテッドアプローチがこの点で持続可能ではないという問題も指摘しました。
例えば、IFTAS（独立連合信頼安全）はフェディバース向けのモデレーションツールの構築に取り組んでいましたが、資金不足により2025年初頭に多くのプロジェクトを停止せざるを得なくなりました。
「2年前にその兆候は見えていました。IFTASもそれを見ていました。この分野で働く人々は大半がボランティアで時間と労力を費やしていますが、家族がいる人々は生活費を稼ぐ必要があり、MLモデルを運用するためのコンピューティングコストも積み重なります」と説明しました。
一方、Blueskyはモデレーターを雇用し、信頼安全部門を設置していますが、独自のアプリのモデレーションに限定しています。また、ユーザーが自身のモデレーション設定をカスタマイズできるツールを提供しています。
「彼らは大規模に作業を行っています。改善の余地は明らかにありますが、基本的には正しいことをしています」とロス氏は述べました。しかし、サービスがさらに分散化するにつれて、Blueskyは個人の保護とコミュニティのニーズのどちらを優先すべきかという問題に直面することになると指摘しています。
例えば、ドキシング（個人情報の不正公開）では、ユーザーが自身の個人情報がオンラインで拡散されていることに気づかない可能性があります。しかし、それでも誰かがその保護を強化する責任を負うべきです。
フェディバースが直面しているもう一つの問題は、プライバシーを重視する決定がモデレーションの試みを妨げることです。Twitterは必要のない個人データを保存しないよう努めていましたが、ユーザーのIPアドレスやサービスアクセス時のデバイス識別子などを収集していました。これにより、ロシアのトロールファームなどの事例に対する法医学的分析が可能になりました。
フェディバースの管理者は、必要なログを収集していないか、ユーザープライバシーの侵害と考えてそれを見ない可能性があります。しかし、データがなければ、誰が本当にボットであるかを判断するのは難しいのが現実です。
ロス氏はTwitter時代のいくつかの例を挙げ、ユーザーが「ボット」と返信するのがトレンドになったと述べました。彼は最初にアラートを設定し、これらの投稿をすべて手動で確認し、「ボット」とされた事例を何百件も調査しましたが、誰も正しくありませんでした。Twitterの共同創設者で元CEOのジャック・ドーシー氏も、ニューヨーク出身の黒人女性を装ったロシアの俳優の投稿をリツイートしてしまったことがあります。
「会社のCEOがこのコンテンツを気に入り、それを拡散しましたが、クリスタル・ジョンソンが実際にはロシアのトロールであることをユーザーとして知る方法はありませんでした」とロス氏は述べました。
AIがどのように状況を変えているかについてもタイムリーな話題がありました。ロス氏は、スタンフォード大学の最近の研究を引用し、政治的文脈では大規模言語モデル（LLM）が適切に調整されると人間よりも説得力がある可能性があると指摘しました。
つまり、コンテンツ分析にのみ依存する解決策は不十分です。
その代わりに、企業は他の行動信号を追跡する必要があります。例えば、あるエンティティが複数のアカウントを作成しているか、オートメーションを使用して投稿しているか、異なるタイムゾーンに対応する奇妙な時間に投稿しているかなどです。
「これらは、非常に説得力のあるコンテンツにも潜在する行動信号です。そして、ここから始めるべきだと思います」とロス氏は述べました。「コンテンツから始めると、先進のAIモデルとの軍拡競争に突入し、すでに負けているのです。」