Discord признал, что из-за бага в ИИ-системе модерации были ошибочно забанены тысячи пользователей

Компания Discord признала, что из-за ошибки в ее системе модерации на базе искусственного интеллекта за последние два месяца были ошибочно заблокированы более 8 000 пользователей. Безвредные изображения — включая электронные таблицы, шахматные доски, текстуры из игр, а также белые и серые прозрачные фоны — были неверно помечены как вредоносный контент.

Компания подтвердила, что проблема затронула аккаунты начиная с мая. Еще 200 пользователей получили бан за прошедшие выходные, прежде чем команда специалистов обнаружила и устранила проблему. В настоящее время идет процесс восстановления всех пострадавших учетных записей.

Этот инцидент подчеркивает одну из растущих проблем, связанных с модерацией при помощи ИИ, поскольку многие платформы все чаще полагаются на автоматизированные системы для выявления незаконных или оскорбительных материалов в больших масштабах.

В подробном треде в соцсети X (бывший Twitter) Discord объяснил, что его автоматизированная система безопасности работает путем сопоставления загружаемого контента с базами данных известных вредоносных материалов. Хотя эта технология предназначена для улавливания нелегального контента, компания признала, что иногда она может выдавать ложные срабатывания. Обычно контент проверяет модератор-человек, но из-за бага система мгновенно забанила пострадавшие аккаунты.

«Мы работаем над улучшением защитных механизмов, чтобы подобное больше не повторилось», — написала компания.

В X и Reddit пользователи утверждали, что их навсегда заблокировали просто за загрузку изображений, содержащих узоры в виде квадратной сетки. Несколько пользователей предположили, что инструменты ИИ-модерации Discord стали более чувствительны к сетчатым паттернам, поскольку ранее они использовались в попытках скрыть или замаскировать NSFW-контент (материалы для взрослых) от систем автоматического обнаружения.

Пострадавшие пользователи выражают разочарование в социальных сетях. Некоторые из них утверждают, что перманентные баны аккаунтов, основанные исключительно на автоматическом обнаружении, могут иметь серьезные последствия — особенно для тех, кто использует Discord для работы, игровых сообществ или поддержания социальных связей на расстоянии.

«Потеря аккаунта Discord из-за чего-то настолько несправедливого может стать огромным ударом и сильно повлиять на пользователей. Каждый день миллионы людей страдают от ложных ИИ-банов. Это необходимо прекратить», — написал один из пользователей X.

Источник: TechCrunch

AI News

Статьи и новости о нейросетях и искусственном интеллекте, просто и понятно о сложных технологиях. Освещает современные тенденции, объясняет, как работают ИИ-системы, и показывает, каким образом нейросети меняют различные сферы жизни. Регулярно собирает подборки и топы полезных нейросетей, тщательно отбирая актуальные инструменты и сервисы, которые могут существенно упростить рабочие и повседневные задачи. В своих подборках делится описаниями возможностей каждой нейросети, а также рекомендациями по их применению, чтобы помочь читателям быстро разобраться в новых технологиях и использовать их с максимальной пользой.

Социальные сети автора: