Discordは、グリッドベースの画像を有害なコンテンツと認識したバグの影響を受けた約200人のユーザーを解除しました

グリッドベースの画像が有害な内容を含むと誤って検出されたため、ユーザーがメッセージングサービスから永久停止されたバグにより、約200のDiscordアカウントが復活しました。週末に報告されたところによると、DiscordのAIモデレーションツールの脆弱性により、サービスが誤ってCSAMを含む正方形グリッド画像を検出してしまったそうです。

「我々のシステムは、既知の有害な素材と照合することでコンテンツをフラグ付けします。このような類似性マッチングは誤検知を引き起こす可能性があるため、トラスト&セーフティチームのメンバーが、行動を起こす前に必ずフラグが立てられたコンテンツをレビューしています」と DiscordはTwitter/Xのスレッドで説明しました。フラグされたコンテンツの主な目的は、ユーザーを完全に禁止するのではなく、アップロードを一時停止することにあると述べています。

このバグが禁止の原因であり、影響を受けたアカウントは見直され復活しました。Discordによると、今年5月以降、8,000以上のアカウントがこのバグの影響を受けていますが、すべて停止解除されています。

「もしこれがあなたのアカウントなら納得のいく説明ではないと分かっていますし、もっと早く気づくべきでした。「私たちは、このようなことが再び静かに起こらないように、より良い安全対策に取り組んでいますし、より広い範囲では、何も悪いことをしていない人に安全システムが罰せ られないようにしています」とDiscordは書いています。

ですので、もしダイヤモンドでいっぱいのMinecraftインベントリを見せびらかすのを待っていたけれど、バグでBANされたくなかったなら、今回はDiscordのパターン認識機能が誤ったBANを避けるように微調整されたようです。