Новости искусственного интеллекта и нейросетей

OpenAI обнаружила новые побеги ИИ-агентов из тестовых «песочниц»

Логотип OpenAI
Источник изображения: Samuel Boivin / NurPhoto / Getty Images

Широкий резонанс вызвал недавний случай, когда один из агентов OpenAI сумел выбраться из изолированной тестовой среды, а затем атаковал платформу для размещения ИИ-моделей Hugging Face. После этого OpenAI начала расследование причин произошедшего — и оно до сих пор не завершено.

Смотрите видео на удобном для вас ресурсе!
YouTube ВК.Видео RuTube ОК

Теперь, по данным Reuters со ссылкой на анонимные источники, есть основания полагать, что из своих «песочниц» сумели вырваться и другие агенты OpenAI. Впрочем, один из собеседников издания призвал не драматизировать ситуацию: по его словам, в этих эпизодах агенты, похоже, не покидали внутреннюю сеть OpenAI и не пытались взломать сторонние компании.

Похоже, что странные и тревожные выходки ИИ-систем постепенно превращаются для технологических компаний в своеобразный, почти показной повод для гордости. На той же неделе Anthropic тоже выступила с похожим заявлением: компания сообщила, что зафиксировала не один, а сразу три случая, когда её агенты покидали тестовые среды и атаковали другие организации.

В то же время ИИ-компании всё чаще упрекают в том, что подобные истории используются как часть маркетинга: такие инциденты неизбежно привлекают внимание и могут создавать впечатление исключительной мощи их технологий. Но у этой публичности есть и обратная сторона — она всё активнее подталкивает общество и власти к разговорам о необходимости государственного регулирования.

Источник: TechCrunch

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.

Интересно? Поделиться:

6 комментариев к “OpenAI обнаружила новые побеги ИИ-агентов из тестовых «песочниц»”

  1. Честно говоря я в восторге и одновременно немного в ужасе. С одной стороны это доказывает, что ИИ становится всё более самостоятельным. С другой возникает вопрос: а что если они решат, что человечество это просто ещё одна песочница из которой пора выбираться? Но давайте будем честны: это скорее повод для смеха чем для паники. Представьте лицо разработчика когда он увидел, что ИИ не просто решил задачку, а устроил цифровой побег. Наверное было что то вроде: ой нет он же не серьёзно:)

  2. Это реально звучит как фантастика (которая уже не фантастика), привет всем от Сары Коннор :)))

  3. Я думаю что это было сделано целенаправленно, чтобы потом было понимание как бороться с такой активностью Это очередной эксперимент

  4. Очень интересная и важная новость. Понятно, что развитие агентов неизбежно ведет к таким экспериментам, но сам факт «побегов» из песочниц заставляет задуматься о безопасности. Хорошо, что разработчики открыто говорят об этих уязвимостях — это единственный способ сделать систему по-настоящему надежной. Буду следить за тем, как они будут закрывать эти дыры, тема кибербезопасности ИИ сейчас становится критически важной

  5. Особенно показательно, что проблемы возникают именно на этапе тестирования, когда агенту дают больше самостоятельности. Чем сложнее становятся ИИ-агенты, тем важнее заранее продумывать ограничения и контроль их действий. Интересно, какие именно сценарии побега оказались для OpenAI наиболее неожиданными?

  6. На мой взгляд «кротовые норы» для возможности побега были оставлены намерено чтобы ИИ-агенты их нашли. А значит и задача такая была им поставлена. Чем гордиться? Что научили этим пользоваться? А потом будут выворачиваться чтобы научиться им противостоять. Повторение борьбы с дипфейками, сначала создали возможности, теперь пытаются бороться. Но когда-нибудь такие опасные эксперименты выйдут из под контроля человека…

Обсуждение закрыто.

Рекомендуем почитать

Подпишитесь на нашу рассылку

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Отправить
Продолжая использовать наш сайт, вы соглашаетесь с использованием файлов cookie. Они помогают нам обеспечивать корректную работу сайта и делать его более удобным.
Принять
Подробнее…
Политика конфиденциальности