コミュニケーションアプリを運営するアメリカの「ディスコード（Discord）」は、AI＝人工知能を活用した監視システムの不具合により、過去2か月間で8000人以上のユーザーのアカウントを誤って凍結したと発表しました。表計算ソフトの画面やチェス盤、ゲームのテクスチャ画像、白やグレーの透過背景画像など、無害な画像が有害なコンテンツとして誤検知されたということです。
会社側によりますと、この問題は今年5月から発生していました。先週末にも新たに200人のユーザーが凍結されましたが、その後、開発チームが原因を特定し不具合を修正したとしています。影響を受けたすべてのアカウントについては、現在、復旧作業が進められています。
今回の事態は、AIを活用したコンテンツ監視の課題を浮き彫りにしています。現在、多くのプラットフォームでは、違法な投稿や悪意のあるコンテンツを大規模に検出するため、自動化されたシステムへの依存を強めています。
ディスコードはX（旧ツイッター）で、システムの仕組みについて説明しました。それによりますと、アップロードされたコンテンツと、過去に確認された有害なデータのデータベースを照合する仕組みとなっています。通常はAIが検知したあとに人間の担当者が確認を行いますが、今回は不具合によって即座にアカウントが凍結される状態になっていたということです。
会社側は「二度とこのようなことが起きないよう、安全対策の強化に取り組む方針です」としています。
XやSNSの「レディット（Reddit）」では、格子状の模様が含まれた画像をアップロードしただけで、アカウントが永久凍結されたという声が相次ぎました。一部のユーザーの間では、有害な画像や児童搾取に関するコンテンツを自動検知システムから隠すために格子状の模様が悪用されるケースがあるため、AIが過剰に反応したのではないかと指摘されています。
誤って凍結されたユーザーからは、不満の声が上がっています。仕事やゲームのコミュニティー、遠方の友人との交流などをディスコードに依存している人にとって、自動検知による永久凍結は深刻な影響を及ぼすとしています。
あるユーザーは「不当な理由でアカウントを失うことは非常にショックであり、ユーザーに深刻な影響を与えます。毎日何百万人ものユーザーがAIの誤検知による凍結の影響を受けており、これは止めるべきだ」と訴えています。
自動化システムによる監視をめぐるトラブルは、ディスコードに限った問題ではありません。去年は、インスタグラムやフェイスブックのグループ機能でも、原因不明のアカウント凍結が相次ぎました。多くのユーザーがAIによる誤検知を疑いましたが、運営会社のメタはAIの誤りが原因かどうかを公式には認めていません。現在、メタの監督委員会は透明性の向上を求めています。
また、SNSの「タンブラー（Tumblr）」でも去年、明確な説明がないままアカウントが大量に凍結されたとして、ユーザーから苦情が寄せられていました。