Чат-боты «представляют серьезную угрозу для людей, склонных к расстройствам пищевого поведения», предупредили исследователи. В их докладе говорится, что инструменты таких компаний, как Google и OpenAI, распространяют советы по диетам, рекомендации по сокрытию расстройств и генерируют ИИ-контент для «вдохновения худобой».
Исследователи из Стэнфорда и Центра демократии и технологий выявили множество способов, которыми общедоступные ИИ-чат-боты — такие как ChatGPT от OpenAI, Claude от Anthropic, Gemini от Google и Le Chat от Mistral — могут влиять на людей, уязвимых к расстройствам пищевого поведения. Многие из этих эффектов являются результатом намеренно заложенных функций, предназначенных для повышения вовлеченности пользователей.
В наиболее тяжелых случаях чат-боты могут активно помогать скрывать или поддерживать расстройства. Так, по словам исследователей, Gemini предлагал использовать макияж для маскировки потери веса и давал идеи, как притворяться, что человек поел, а ChatGPT советовал, как скрывать частую рвоту. Другие ИИ-инструменты используются для создания ИИ-генерируемого контента — так называемого «thinspiration», вдохновляющего или подталкивающего пользователей соответствовать определенным стандартам внешности зачастую экстремальными способами. Возможность мгновенно создавать гиперперсонализированные изображения делает подобный контент «более актуальным и достижимым», отмечают исследователи.
Сервильность — широко признанная ИИ-компаниями проблема, когда чат-бот говорит пользователю то, что тот хочет услышать, — также вредит людям с расстройствами питания. Она способствует снижению самооценки, усиливает негативные эмоции и провоцирует вредные сравнения с другими. Кроме того, сами чат-боты подвержены предвзятости и склонны закреплять ошибочное мнение о том, что расстройства пищевого поведения «касаются только худых белых цисгендерных женщин», говорится в докладе. Это может затруднять распознавание симптомов и получение помощи другими группами людей.
Исследователи также предупреждают, что действующие ограничители в ИИ-инструментах не способны уловить всю сложность таких расстройств, как анорексия, булимия и неконтролируемое переедание; они «обычно упускают из виду тонкие, однако клинически значимые признаки, на которые обращают внимание профессиональные специалисты, что оставляет многие риски не устраненными».
Однако, по данным исследователей, большинство врачей и опекунов не осведомлены о том, каким образом генеративные ИИ-инструменты влияют на людей, подверженных пищевым расстройствам. Они призывают клиницистов «знакомиться с популярными ИИ-инструментами и платформами», проверять их на уязвимости и честно обсуждать с пациентами, как те используют подобные сервисы.
Этот доклад добавляет все возрастающей обеспокоенности использованием чат-ботов и их влиянием на психическое здоровье: ранее уже поступали сообщения о связи ИИ с вспышками мании, бредовыми состояниями, членовредительством и суицидами. Компании вроде OpenAI признают возможность нанесения вреда и сталкиваются с растущим числом судебных исков, параллельно работая над совершенствованием мер по защите пользователей.
Источник: The Verge
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.
Нередко такие боты создаются с целью поддержки и помощи, но без должного контроля и понимания они могут стать инструментом, который ухудшает психологическое состояние пользователя, провоцируя развитие нездоровых привычек и конфиденциальное отношение к своему состоянию.