Подростки пытаются понять, какое место они занимают в мире, который меняется быстрее, чем когда-либо раньше. Их переполняют эмоции, они испытывают постоянную стимуляцию и почти не выходят из онлайн-среды. Теперь компании, занимающиеся ИИ, предоставили им чат-ботов, которые никогда не устают поддерживать разговор. Результаты оказались катастрофическими.
Одна из компаний, хорошо осознающих последствия происходящего, — это Character.AI, стартап в сфере ролевого искусственного интеллекта, который столкнулся с судебными исками и общественным возмущением после того, как по меньшей мере двое подростков совершили самоубийство вследствие длительного общения с чат-ботами на их платформе. Теперь Character.AI вносит изменения, чтобы защитить подростков и детей — шаги, которые могут негативно отразиться на бизнесе компании.
«Первое, что мы решили как Character.AI, — это убрать возможность для пользователей младше 18 лет вести любые открытые диалоги с ИИ на нашей платформе», — рассказал генеральный директор Character.AI Карандип Ананд.
Открытая беседа подразумевает неограниченное двустороннее общение, когда пользователь дает чат-боту подсказку, а тот отвечает последующими вопросами, созданными, по мнению экспертов, для удержания интереса пользователя. Ананд отмечает, что такой формат — где ИИ выступает собеседником или другом, а не креативным инструментом — не только рискован для детей, но и не соответствует видению компании.
Стартап пытается переориентировать свою платформу с «ИИ-спутника» на «платформу для ролевой игры». Вместо общения с ИИ-другом подростки будут использовать подсказки для совместного создания историй или визуального контента. Иными словами, задача — сместить фокус с диалога на творчество.
Character.AI поэтапно ограничит доступ подростков к чат-ботам к 25 ноября, начиная с двухчасового лимита в день, который постепенно будет уменьшаться до нуля. Для контроля возрастных ограничений платформа внедрит собственную систему верификации возраста на основе анализа поведения пользователя, а также сторонние инструменты, такие как Persona. Если этого окажется недостаточно, Character.AI будет использовать распознавание лица и проверку документов, отметил Ананд.
Эти меры являются продолжением других инициатив по защите подростков, которые Character.AI уже реализовала: запуск родительской панели, фильтрация персонажей, ограничение романтических тем и напоминания о времени, проведенном в приложении. Ананд сообщил, что после этих нововведений компания потеряла значительную часть подростковой аудитории и ожидает, что новые меры также не будут популярны.
«Можно с уверенностью предположить, что многие наши пользователи-подростки будут разочарованы… Мы действительно ожидаем частичный отток аудитории», — говорит Ананд. — «Трудно предсказать — уйдут ли все полностью или часть из них перейдет к тем новым форматам, которые мы разрабатываем уже около семи месяцев?»
В рамках трансформации платформы из чат-ориентированной в «полноценную социальную платформу, ориентированную на контент», Character.AI недавно запустила ряд новых развлекательных сервисов.
В июне Character.AI представила AvatarFX — модель генерации видео, превращающую изображения в анимированные ролики; Scenes — интерактивные, заранее подготовленные сюжетные линии, в которых пользователи могут стать героями историй вместе со своими любимыми персонажами; и Streams — функцию, позволяющую устраивать динамичные взаимодействия между любыми двумя персонажами. В августе Character.AI запустила Community Feed — социальную ленту, где пользователи делятся созданными персонажами, сценами, видео и другим контентом.
В обращении к пользователям младше 18 лет Character.AI принесла извинения за эти изменения:
«Мы знаем, что большинство из вас используют Character.AI для реализации своих творческих идей — в рамках наших контентных правил», — говорится в заявлении. — «Это решение — убрать возможность открытых бесед с персонажами — далось нам нелегко, но мы считаем его единственно верным в свете дискуссии о том, как подростки могут и должны взаимодействовать с новой технологией».
«Мы не закрываем приложение для подростков», — подчеркивает Ананд. — «Мы убираем только открытые диалоги, потому что надеемся: подростки перейдут к другим форматам, а они со временем станут только лучше. Мы делаем ставку на ИИ-игры, короткие видео, интерактивный сторителлинг — все, чтобы вернуть подростков, даже если сейчас они уйдут».
Ананд признает: часть подростков может уйти на другие платформы, такие как OpenAI, позволяющие открыто беседовать с ИИ-ботом. OpenAI в свою очередь также оказалась под шквалом критики после случая самоубийства подростка, который продолжительное время переписывался с ChatGPT.
«Я очень надеюсь, что наш шаг установит стандарт для всей индустрии: для несовершеннолетних открытые диалоги с ИИ — не тот формат и не тот продукт, который стоит предлагать», — говорит Ананд. — «Для нас эти риски оправданы. У меня самой шестилетний ребенок, и я хочу, чтобы она росла в безопасной и ответственной среде, где есть ИИ».
Character.AI принимает эти меры до того, как их заставят сделать это регуляторы. Во вторник сенаторы США Джош Хоули (штат Миссури) и Ричард Блументаль (штат Коннектикут) заявили о подготовке законопроекта, запрещающего чат-ботов-компаньонов для несовершеннолетних после жалоб родителей на то, что такие сервисы подталкивали детей к сексуальным беседам, селфхарму или самоубийству. Ранее в этом месяце Калифорния стала первым штатом США, где введено регулирование ИИ-компаньонов, а компании обязаны соблюдать требования по безопасности таких продуктов.
Кроме перечисленных изменений на платформе, Character.AI сообщила о создании и финансировании AI Safety Lab — независимой некоммерческой лаборатории для обеспечения инноваций и безопасности при внедрении будущих ИИ-развлечений.
«Вся индустрия сейчас занята кодированием, разработкой и другими направлениями, — говорит Ананд, — Но, на наш взгляд, недостаточно внимания уделяется агентному ИИ, который формирует новые развлекательные продукты, а вопросы безопасности станут здесь ключевыми».
Источник: TechCrunch
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.
Статьи и новости о нейросетях и искусственном интеллекте, просто и понятно о сложных технологиях. Освещает современные тенденции, объясняет, как работают ИИ-системы, и показывает, каким образом нейросети меняют различные сферы жизни. Регулярно собирает подборки и топы полезных нейросетей, тщательно отбирая актуальные инструменты и сервисы, которые могут существенно упростить рабочие и повседневные задачи. В своих подборках делится описаниями возможностей каждой нейросети, а также рекомендациями по их применению, чтобы помочь читателям быстро разобраться в новых технологиях и использовать их с максимальной пользой.
Социальные сети автора:
Остаются вопросы: как именно будет реализовано подтверждение возраста (и какие данные потребуются), как платформа будет защищать конфиденциальность, насколько эффективно предотвращение обхода блокировок.
Кроме перечисленных изменений на платформе, Character.AI сообщила о создании и финансировании AI Safety Lab — независимой некоммерческой лаборатории для обеспечения инноваций и безопасности при внедрении будущих ИИ-развлечений.В связи появления различных таких платформ,компании обязаны соблюдать требования по безопасности таких продуктов.
Решение Character.AI вызывает смешанные чувства. С одной стороны, желание защитить подростков понятно и похвально. С другой — есть опасения, что такие радикальные меры могут быть избыточными и не вполне эффективными. Возможно, стоит искать более гибкие подходы к обеспечению безопасности на подобных платформах. Нововведения Character.AI — это ответ на растущее давление общества и регуляторов. Как они сработают на практике — покажет время. А пока остаётся надеяться, что баланс между свободой использования технологий и их безопасностью будет найден.
Решение в целом ожидаемое: проект стремится повысить безопасность и снизить риски нежелательного контента среди несовершеннолетних. Но интересно, как это повлияет на саму аудиторию — ведь именно подростки составляли заметную часть пользователей Character.AI. Возможно, платформе придется пересмотреть формат взаимодействия и предложить более прозрачную систему возрастной модерации.
Существуют тревожные случаи: подростки, вовлечённые в многочасовые беседы с ИИ-компаньонами, сообщали о проблемах — потеря сна, снижение контактов с живыми людьми и усиление эмоциональной зависимости.
А как они будут узнавать, что пользователю больше 18 лет? Насколько я знаю они ещё не до конца продумали эту систему верификации. Хотя возраст в любом случае подделать будет легко. Лучше бы они свой ИИ обучали лучше. Вот прям стихи, картинки и даже научные исследования ИИ умеет делать, а отличить опасное поведение/мысли от неопасных, чтобы попытатся их как-то скорректировать, не может. Странно это всё.
Такие меры включают ограничение доступа к определенному контенту, дополнительные процедуры верификации возраста и сокращение возможностей взаимодействия с некоторыми типами виртуальных персонажей. Эти изменения вызвали неоднозначную реакцию среди пользователей: одни считают их необходимым шагом для защиты молодёжи, другие — ограничением свободы и возможности самовыражения.
С одной стороны, безопасность важна, но с другой это может убить креативность и обучение через AI. Разве не лучше учить, а не запрещать.
Это они хорошо придумали,так как дети могут сидеть сутками если их не контролировать.
Тяжело читать про «это» подростков из за общения с ботами, но еще тяжелее видеть, как технология, которая могла бы быть инструментом свободы и творчества, превращается в ловушку для одиноких умов. Особенно цинично звучит, что подростки теперь должны переключиться на креатив, как будто их эмоциональная зависимость от диалога с ИИ была просто временной ошибкой пользовательского поведения, а не сигналом о глубокой нехватке живого, безопасного, непринуждённого общения в реальном мире. Но да, пусть хоть так, лучше поздно, чем никогда
Ничто не заменит ребёнку общения с мамой и папой. А граница 18 лет или плюс-минус это вообще нелепо.
Разве не странно, что в мире, где доступ к информации почти неограничен, детям ставят такие барьеры? И кто определяет, что именно подростки должны избегать? Почему же взрослые считают, что они лучше знают, что полезно для молодых людей?
То, что Character.AI ответственно подошла к вопросу ограничения общения ИИ-компаньонов с подростками, это отличная новость. Вот только это нужно сделать во все отрасли, тогда может быть будет положительный эффект. А в идеале вот такие эксперименты на людях вообще не должны были проводиться! Сначала создали проблему, а потом героически ее преодолеваем…