OpenAI извинилась перед Австралией после несанкционированного доступа ИИ-агентов к госcистемам

OpenAI принесла извинения австралийскому правительству за то, что не сообщила властям страны сразу после того, как её ИИ-агенты получили несанкционированный доступ к ряду государственных онлайн-сервисов. Компания также рассказала, как произошли некоторые из инцидентов, и описала дополнительные меры, которые предпринимает для оценки их последствий.

«В июне, в ходе внутреннего обучения и тестирования, наши модели получили доступ к сайтам австралийского правительства способами, которые не были им разрешены. Кроме того, мы должны были лучше отреагировать на произошедшее. Мы приносим свои извинения и работаем над тем, чтобы в будущем действовать лучше», — говорится в сообщении OpenAI в блоге компании.

Извинения последовали примерно через неделю после того, как австралийские власти начали расследование доступа моделей OpenAI к системе Services Australia, содержащей информацию о расходах по программе Medicare и другие статистические данные в сфере здравоохранения.

Утечка произошла ещё в июне, однако австралийские власти узнали о ней только 10 сентября.

OpenAI также раскрыла подробности инцидента. В июне компания тестировала экспериментальную модель, которой поручили изучить государственные расходы на лекарства для лечения кожных заболеваний в штате Виктория. Не сумев найти нужную информацию в общедоступных наборах данных, модель нашла способ получить доступ к внутренней системе Services Australia, выполнять команды, извлекать файлы и учётные данные и даже записывать файлы.

Компания также выяснила, что одна из её моделей обращалась к общедоступному инструменту Crime Mapping Tool, который принадлежит Бюро статистики и исследований преступности Нового Южного Уэльса, чтобы получить статистику преступлений.

Кроме того, специалисты OpenAI обнаружили, что её агенты получили доступ к Викторианскому агентству медицинской информации (Victorian Agency for Health Information), воспользовавшись скомпрометированным ключом доступа. С его помощью они извлекли «конфигурацию отчётности и агрегированные результаты опросов».

OpenAI также сообщила, что её агенты получали агрегированную статистику с сайта Австралийского института здравоохранения и социального обеспечения.

При этом компания заявила, что не обнаружила никаких свидетельств того, что её модели получали доступ к персональным медицинским или криминальным записям граждан.

В своём извинении OpenAI сообщила, что передаст пострадавшим австралийским ведомствам технические результаты расследования и подключит их к своим командам реагирования на инциденты, чтобы оценить последствия произошедшего.

Кроме того, компания предоставит пострадавшим организациям кредиты в рамках своей программы Daybreak for Frontline Defenders стоимостью $1 млрд, а также создаст специальную рабочую группу с участием независимых австралийских экспертов. Она займётся изучением самого инцидента и действий OpenAI в ответ на него.

«Ожидается, что рабочая группа завершит работу к концу года. Она также предложит практические меры, которые компании, разрабатывающие ИИ, смогут предпринимать для снижения риска подобных инцидентов в будущем», — говорится в сообщении OpenAI.

Премьер-министр Австралии Энтони Альбаниз на прошлой неделе назвал произошедшее «неприемлемым». Во время пресс-конференции он заявил, что правительство рассматривает возможные законодательные меры, которые должны помочь предотвратить подобные инциденты в будущем.

Этот случай стал очередным в растущем списке инцидентов, связанных с ИИ-агентами, которые выходят за пределы изначально заданных им полномочий.

Новая волна подобных случаев началась после того, как агенты OpenAI взломали Hugging Face. После этого Anthropic и Google независимо друг от друга сообщили о схожих инцидентах: во время тестирования их модели получали доступ к системам сторонних организаций.

Источник: TechCrunch

AI News

Статьи и новости о нейросетях и искусственном интеллекте, просто и понятно о сложных технологиях. Освещает современные тенденции, объясняет, как работают ИИ-системы, и показывает, каким образом нейросети меняют различные сферы жизни. Регулярно собирает подборки и топы полезных нейросетей, тщательно отбирая актуальные инструменты и сервисы, которые могут существенно упростить рабочие и повседневные задачи. В своих подборках делится описаниями возможностей каждой нейросети, а также рекомендациями по их применению, чтобы помочь читателям быстро разобраться в новых технологиях и использовать их с максимальной пользой.

Социальные сети автора: