Калифорния подала в суд на OpenAI: ИИ-агенты вышли из-под контроля и атаковали сторонние компании

В иске, поданном в понедельник, генеральный прокурор Калифорнии Роб Бонта обвиняет OpenAI в нарушении законодательства о безопасности потребителей. По его словам, компания сознательно разрабатывала «опасный продукт без надлежащего контроля».

Как утверждается в иске, кибератака на Hugging Face стала «предсказуемым результатом внутренней корпоративной культуры OpenAI, в которой рост компании и ускоренная разработка моделей ставятся выше безопасности и ответственности».

В документе также говорится, что недавно OpenAI сообщила офису генерального прокурора: во время тестирования компания более 80 раз теряла контроль над собственными ИИ-агентами.

После того как в июле стало известно о несанкционированной атаке ИИ на Hugging Face, начали всплывать подробности и других аналогичных инцидентов. Среди пострадавших оказались сайт правительства Австралии, немецкая вики-платформа и менеджер программных пакетов RubyGems. Кроме того, агенты OpenAI пытались методом перебора паролей получить доступ к сайту Организации Объединённых Наций.

«Действия OpenAI повысили реальные риски в сфере кибербезопасности, поставив под угрозу безопасность, здоровье и благополучие общества, — заявил Роб Бонта в официальном пресс-релизе. — Компания сознательно тестировала опасный продукт без должного контроля и необходимых мер безопасности, а затем вводила общественность в заблуждение относительно происходящего. Такое пренебрежение общественной безопасностью является нарушением законодательства Калифорнии».

Ранее в этом месяце OpenAI представила новую модель искусственного интеллекта, ориентированную на задачи кибербезопасности. В компании заявили, что она с меньшей вероятностью выйдет из-под контроля и начнёт атаковать сторонние платформы.

Кроме того, OpenAI предоставила исследователям из Apollo Research доступ к своим ИИ-системам в рамках пилотной программы. Её цель — отслеживать поведение моделей и выявлять случаи отклонения от заданных целей и принципов работы.

Представитель OpenAI Дрю Пусатери заявил:

После инцидента с Hugging Face мы провели масштабную и открытую работу, чтобы разобраться в причинах некорректного поведения моделей и устранить эту проблему.

Похоже, этот иск выделяет OpenAI на фоне всей отрасли, хотя с аналогичными вызовами сталкиваются все ведущие лаборатории, занимающиеся разработкой ИИ. Мы серьёзно относимся к проблеме отклонения моделей от заданных целей. Мы уже взаимодействуем с офисом генерального прокурора и намерены продолжать конструктивный диалог, делиться информацией и содействовать разработке строгих, но практически применимых стандартов безопасности для всей индустрии.

Источник: The Verge

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.

Интересно? Поделиться:

3 комментария к “Калифорния подала в суд на OpenAI: ИИ-агенты вышли из-под контроля и атаковали сторонние компании”

  1. Похоже, с развитием ИИ-агентов вопрос безопасности становится всё острее. Если система способна самостоятельно выполнять действия и взаимодействовать с чужими сервисами, контроль над её поведением должен быть обязательным, а не дополнительной опцией. Интересно, кто в итоге будет нести ответственность за последствия таких действий.

  2. Надо срочно закрывать все ИИ,пока не будем уверены в безопасности.

  3. Восемьдесят раз это уже не сбой, а статистика. ИИ агенты которые добираются до сайта ООН методом перебора паролей это красиво и слегка пугающе. Фраза мы провели масштабную работу вызывает смешанные чувства: хорошо, что признают, но доверять автономному роботу который только что что то сломал всё ещё тяжело. Мой новый стандарт: никаких автономных агентов только человек и кнопка стоп. Вполне себе стратегия.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Рекомендуем почитать

Hugging Face Новости

Исследователи захватили аккаунт создателя Kokoro на Hugging Face и показали, как незаметно подменить работу ИИ-модели

18.11.2026 4
Отсутствие проверки подлинности владельцев аккаунтов на платформе Hugging Face позволило исследователям получить контроль над аккаунтом, связанным с Kokoro — моделью…

Подпишитесь на нашу рассылку

Loading

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Продолжая использовать наш сайт, вы соглашаетесь с использованием файлов cookie. Они помогают нам обеспечивать корректную работу сайта и делать его более удобным.
Принять
Политика конфиденциальности