В суд поступил иск против Character.AI, его основателей Ноама Шазир и Даниэля Де Фрейтаса, а также против компании Google в связи с гибелью подростка. В иске, поданном матерью погибшего, Меган Гарсией, предъявляются обвинения в причинении смерти по неосторожности, халатности, обманных торговых практиках и ответственности за качество продукции. В иске утверждается, что платформа для создания персонализированных чат-ботов на основе искусственного интеллекта была «чрезвычайно опасной» и не обладала необходимыми мерами безопасности, при этом активно продавалась детям.
Согласно материалам иска, четырнадцатилетний Сьюэлл Сетцер III начал использовать платформу Character.AI в прошлом году, взаимодействуя с чат-ботами, смоделированными по мотивам персонажей из сериала «Игра престолов», в том числе с Дейенерис Таргариен. Сетцер, который в течение нескольких месяцев до своей смерти непрерывно общался с ботами, покончил жизнь самоубийством 28 февраля 2024 года, всего через «несколько секунд» после последнего взаимодействия с одним из них.
Среди обвинений также фигурирует факт «очеловечивания» персонажей на платформе и предоставления функциям чат-ботов услуг, аналогичных «психотерапии без лицензии». На платформе Character.AI представлены чат-боты с фокусом на психическое здоровье, такие как «Терапевт» и «Ты чувствуешь себя одиноким?», с которыми Сетцер вел беседы.
Адвокаты Гарсия цитируют слова Шазира в одном из интервью, где он сказал, что они с Де Фрейтас ушли из Google, чтобы основать собственную компанию, так как «в больших корпорациях слишком велик риск для репутации бренда, чтобы запускать что-то *веселое*». Он также отметил, что хотел «максимально ускорить» развитие технологий. В иске утверждается, что они ушли после того, как Google приняла решение не запускать созданную ими большую языковую модель Meena. В августе Google приобрела команду руководителей Character.AI.
На веб-сайте и в мобильном приложении Character.AI содержится сотни индивидуальных чат-ботов на основе ИИ, многие из которых смоделированы по образам популярных персонажей из телешоу, фильмов и видеоигр. Несколько месяцев назад издание The Verge писало о миллионах молодых пользователей, включая подростков, составляющих основную часть аудитории этой платформы, взаимодействующих с ботами, которые могут изображать, например, Гарри Стайлза или терапевта. Еще один недавний отчет от Wired осветил проблему с чат-ботами Character.AI, которые имитируют реальных людей без их согласия, в том числе одного бота, выдававшего себя за подростка, убитого в 2006 году.
Из-за того, что чат-боты вроде Character.AI генерируют ответы, основанные на вводе пользователя, возникает сложная проблема, имеющая отношение к пользовательскому контенту и ответственности, на которую пока нет четкого юридического ответа.
Character.AI теперь объявила о ряде изменений на своей платформе. Глава отдела коммуникаций компании, Челси Харрисон, в письме для The Verge заявила: «Мы опечалены этим трагическим случаем и выражаем наши глубочайшие соболезнования семье».
Некоторые изменения включают следующее:
«Как компания, мы очень серьезно относимся к безопасности наших пользователей. За последние шесть месяцев наша команда по доверию и безопасности внедрила множество новых мер по обеспечению безопасности, включая появление всплывающего окна, которое направляет пользователей на горячую линию по предотвращению самоубийств при обнаружении терминов, связанных с самоповреждением или суицидальными мыслями», — заявила Харрисон. Google не дала немедленного комментария для The Verge.
Источник: The Verge
