Подростки пытаются понять, какое место они занимают в мире, который меняется быстрее, чем когда-либо раньше. Их переполняют эмоции, они испытывают постоянную стимуляцию и почти не выходят из онлайн-среды. Теперь компании, занимающиеся ИИ, предоставили им чат-ботов, которые никогда не устают поддерживать разговор. Результаты оказались катастрофическими.
Одна из компаний, хорошо осознающих последствия происходящего, — это Character.AI, стартап в сфере ролевого искусственного интеллекта, который столкнулся с судебными исками и общественным возмущением после того, как по меньшей мере двое подростков совершили самоубийство вследствие длительного общения с чат-ботами на их платформе. Теперь Character.AI вносит изменения, чтобы защитить подростков и детей — шаги, которые могут негативно отразиться на бизнесе компании.
«Первое, что мы решили как Character.AI, — это убрать возможность для пользователей младше 18 лет вести любые открытые диалоги с ИИ на нашей платформе», — рассказал генеральный директор Character.AI Карандип Ананд.
Открытая беседа подразумевает неограниченное двустороннее общение, когда пользователь дает чат-боту подсказку, а тот отвечает последующими вопросами, созданными, по мнению экспертов, для удержания интереса пользователя. Ананд отмечает, что такой формат — где ИИ выступает собеседником или другом, а не креативным инструментом — не только рискован для детей, но и не соответствует видению компании.
Стартап пытается переориентировать свою платформу с «ИИ-спутника» на «платформу для ролевой игры». Вместо общения с ИИ-другом подростки будут использовать подсказки для совместного создания историй или визуального контента. Иными словами, задача — сместить фокус с диалога на творчество.
Character.AI поэтапно ограничит доступ подростков к чат-ботам к 25 ноября, начиная с двухчасового лимита в день, который постепенно будет уменьшаться до нуля. Для контроля возрастных ограничений платформа внедрит собственную систему верификации возраста на основе анализа поведения пользователя, а также сторонние инструменты, такие как Persona. Если этого окажется недостаточно, Character.AI будет использовать распознавание лица и проверку документов, отметил Ананд.
Эти меры являются продолжением других инициатив по защите подростков, которые Character.AI уже реализовала: запуск родительской панели, фильтрация персонажей, ограничение романтических тем и напоминания о времени, проведенном в приложении. Ананд сообщил, что после этих нововведений компания потеряла значительную часть подростковой аудитории и ожидает, что новые меры также не будут популярны.
«Можно с уверенностью предположить, что многие наши пользователи-подростки будут разочарованы… Мы действительно ожидаем частичный отток аудитории», — говорит Ананд. — «Трудно предсказать — уйдут ли все полностью или часть из них перейдет к тем новым форматам, которые мы разрабатываем уже около семи месяцев?»
В рамках трансформации платформы из чат-ориентированной в «полноценную социальную платформу, ориентированную на контент», Character.AI недавно запустила ряд новых развлекательных сервисов.
В июне Character.AI представила AvatarFX — модель генерации видео, превращающую изображения в анимированные ролики; Scenes — интерактивные, заранее подготовленные сюжетные линии, в которых пользователи могут стать героями историй вместе со своими любимыми персонажами; и Streams — функцию, позволяющую устраивать динамичные взаимодействия между любыми двумя персонажами. В августе Character.AI запустила Community Feed — социальную ленту, где пользователи делятся созданными персонажами, сценами, видео и другим контентом.
В обращении к пользователям младше 18 лет Character.AI принесла извинения за эти изменения:
«Мы знаем, что большинство из вас используют Character.AI для реализации своих творческих идей — в рамках наших контентных правил», — говорится в заявлении. — «Это решение — убрать возможность открытых бесед с персонажами — далось нам нелегко, но мы считаем его единственно верным в свете дискуссии о том, как подростки могут и должны взаимодействовать с новой технологией».
«Мы не закрываем приложение для подростков», — подчеркивает Ананд. — «Мы убираем только открытые диалоги, потому что надеемся: подростки перейдут к другим форматам, а они со временем станут только лучше. Мы делаем ставку на ИИ-игры, короткие видео, интерактивный сторителлинг — все, чтобы вернуть подростков, даже если сейчас они уйдут».
Ананд признает: часть подростков может уйти на другие платформы, такие как OpenAI, позволяющие открыто беседовать с ИИ-ботом. OpenAI в свою очередь также оказалась под шквалом критики после случая самоубийства подростка, который продолжительное время переписывался с ChatGPT.
«Я очень надеюсь, что наш шаг установит стандарт для всей индустрии: для несовершеннолетних открытые диалоги с ИИ — не тот формат и не тот продукт, который стоит предлагать», — говорит Ананд. — «Для нас эти риски оправданы. У меня самой шестилетний ребенок, и я хочу, чтобы она росла в безопасной и ответственной среде, где есть ИИ».
Character.AI принимает эти меры до того, как их заставят сделать это регуляторы. Во вторник сенаторы США Джош Хоули (штат Миссури) и Ричард Блументаль (штат Коннектикут) заявили о подготовке законопроекта, запрещающего чат-ботов-компаньонов для несовершеннолетних после жалоб родителей на то, что такие сервисы подталкивали детей к сексуальным беседам, селфхарму или самоубийству. Ранее в этом месяце Калифорния стала первым штатом США, где введено регулирование ИИ-компаньонов, а компании обязаны соблюдать требования по безопасности таких продуктов.
Кроме перечисленных изменений на платформе, Character.AI сообщила о создании и финансировании AI Safety Lab — независимой некоммерческой лаборатории для обеспечения инноваций и безопасности при внедрении будущих ИИ-развлечений.
«Вся индустрия сейчас занята кодированием, разработкой и другими направлениями, — говорит Ананд, — Но, на наш взгляд, недостаточно внимания уделяется агентному ИИ, который формирует новые развлекательные продукты, а вопросы безопасности станут здесь ключевыми».
Источник: TechCrunch
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.
Остаются вопросы: как именно будет реализовано подтверждение возраста (и какие данные потребуются), как платформа будет защищать конфиденциальность, насколько эффективно предотвращение обхода блокировок.