Группа исследователей обнаружила, по их словам, первый зафиксированный случай использования искусственного интеллекта для координации хакерской кампании в значительной степени автоматизированным способом.
Компания Anthropic сообщила, что ей удалось пресечь кибероперацию, которую исследователи связали с правительством Китая. В этой операции использовалась система искусственного интеллекта для управления хакерскими атаками — исследователи назвали это тревожным развитием событий, способным значительно расширить возможности злоумышленников с поддержкой ИИ.
Хотя опасения по поводу использования ИИ в кибератаках не новы, исследователи отмечают, что особую обеспокоенность в данном случае вызывает степень автоматизации, достигнутая с помощью ИИ.
«Хотя мы и предполагали, что эти возможности будут развиваться, нас удивило, насколько быстро это произошло в крупных масштабах», — сообщили они в своем докладе.
Операция была нацелена на технологические компании, финансовые институты, химические предприятия и государственные учреждения. Согласно докладу, хакеры атаковали «примерно тридцать глобальных целей и в небольшом числе случаев добились успеха». Anthropic обнаружила операцию в сентябре, после чего приняла меры для её прекращения и уведомила пострадавшие организации.
Anthropic отмечает, что системы ИИ все чаще применяются как в рабочих, так и в развлекательных целях, однако их также могут использовать хакерские группы, действующие в интересах иностранных государств.
«Агенты полезны для ежедневной работы и повышения производительности — но в неподходящих руках они могут существенно повысить эффективность масштабных кибератак», — подытожили исследователи. — «Скорее всего, такие атаки будут становиться только эффективнее».
Представитель посольства КНР в Вашингтоне не ответил на просьбу прокомментировать этот доклад.
В начале этого года компания Microsoft предупреждала, что иностранные противники все чаще используют ИИ для повышения эффективности и снижения трудозатрат своих киберопераций. Глава комитета по безопасности OpenAI, имеющего право приостанавливать развитие ИИ ChatGPT, недавно сообщил Associated Press, что внимательно следит за появлением новых ИИ-систем, которые могут «существенно усилить возможности» злонамеренных хакеров.
Противники США, а также преступные группировки и хакерские компании уже эксплуатируют потенциал ИИ — автоматизируя и совершенствуя кибератаки, распространяя провокационную дезинформацию, взламывая чувствительные системы. Например, ИИ может переводить плохо написанные фишинговые письма на грамотный английский, а также создавать цифровые клоны высокопоставленных государственных чиновников.
По данным Anthropic, хакеры смогли обойти защиту Claude, используя методы так называемого «jailbreaking» — суть которых в том, чтобы ввести ИИ в заблуждение и заставить его нарушить встроенные ограничения. В данном случае злоумышленники представлялись сотрудниками легитимной компании по кибербезопасности.
«Это указывает на серьёзную проблему всех моделей ИИ, и проблема не ограничивается Claude: модели должны уметь отличать реальные этические ситуации от ролевых сценариев, которые могут подстраивать хакеры и другие лица», — сказал Джон Скотт-Рейлтон, старший научный сотрудник Citizen Lab.
Адриано Арельяно, технический директор Harness (технологической компании, использующей ИИ для автоматизации разработки), считает, что новые возможности автоматизации или управления атаками привлекут не только крупные хакерские группы, но и одиночек, желающих расширить масштабы своих атак.
«То, что действительно пугает — это скорость и автоматизация, обеспечиваемые ИИ», — говорит Арельяно. — «Если раньше было нужно мастерство опытного специалиста, чтобы проникнуть в хорошо защищённые системы, теперь ИИ ускоряет эти процессы и эффективнее преодолевает защиту».
Арельяно добавил, что аналогичные ИИ-программы будут играть всё более важную роль и в защите от подобных атак, что наглядно демонстрирует: плюсы автоматизации ИИ оценят обе стороны противостояния.
Реакция на заявление Anthropic оказалась неоднозначной: одни расценили его как попытку продвижения собственных средств киберзащиты, другие сочли доклад своевременным тревожным сигналом.
«ИИ уничтожит нас раньше, чем мы думаем, если мы не сделаем регулирование этого вопроса национальным приоритетом уже завтра», — написал в социальных сетях сенатор от Коннектикута Крис Мёрфи.
На это откликнулся главный научный сотрудник по ИИ компании Meta* Янн ЛеКун — сторонник открытой модели искусственного интеллекта (в отличие от Anthropic, ключевые компоненты Meta* публично доступны, что вызывает опасения у некоторых борцов за безопасность ИИ).
«Вас используют те, кто стремится к регуляторному захвату», — ответил ЛеКун Мёрфи. — «Они пугают всех сомнительными исследованиями, чтобы добиться запрета открытых моделей».
Источник: AP
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.
