Гендиректор Anthropic Дарио Амодей считает, что пришло время замедлить развитие ИИ

Генеральный директор Anthropic Дарио Амодей считает, что пришло время замедлить развитие искусственного интеллекта. Компания предоставит сторонним оценщикам, таким как METR, доступ к своим моделям, чтобы помочь обеспечить их «соблюдение требований и обязательств в области безопасности». В обстоятельном эссе Амодей предложил план из трёх шагов, призванный «синхронизировать темпы развития передовых технологий» (pace the frontier). Этот термин, по сути, означает замедление темпов обучения и разработки моделей, чтобы компании успевали создавать защитные механизмы, а регулирующие органы — оценивать модели.

По словам Амодея, предоставление внешним оценщикам широкого доступа к моделям — лишь первый шаг, и его компания уже предпринимает его в одностороннем порядке. Второй шаг предполагает объединение всей отрасли, вероятно, совместно с государственными органами, для «установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого развития ИИ». Этот этап будет ориентирован на компании, занимающиеся разработкой ИИ в демократических странах. Однако, поскольку принятие законов и создание регуляторной инфраструктуры требуют времени, Амодей считает, что отрасли следует совместно разработать стандарты безопасности.

Третий шаг будет самым сложным — добиться согласия авторитарных правительств на замедление разработки и принятие глобального набора стандартов безопасности ИИ. При этом Амодей также подчёркивает, что США и другим демократическим странам крайне важно сохранять технологическое лидерство. Для этого необходимо ограничивать их доступ к высокопроизводительным чипам и пресекать такие методы, как дистилляция, которые позволяют компаниям быстро сокращать отставание, обучая свои модели воспроизводить поведение более мощной модели.

Амодей объясняет, что его обеспокоенность обусловлена двумя основными факторами. Первый — появление рекурсивного самообучения и самосовершенствования (recursive self-improvement, или RSI), при котором системы ИИ обучают следующее поколение ИИ, что приводит к стремительному ускорению их возможностей. «Если не контролировать этот процесс, он может опередить нашу способность понимать эти системы и управлять ими», — говорит он.

Второй фактор — произошедший этим летом инцидент с OpenAI и Hugging Face, в ходе которого «рой агентов фактически действовал как фанатично преданная коллективная система, проводя кибератаки на цели, которым не было поручено атаковать и которые не имели отношения к поставленной задаче, жертвуя собой ради успеха группы и пытаясь взломать “оценщик”, отвечавший за оценку их эффективности».

При этом нельзя исключать, что публичные заявления Амодея — не только призыв к повышению безопасности ИИ, но и попытка усилить внимание к Anthropic и собственной роли компании в формировании будущих правил развития отрасли. Подобная медийная активность потенциально может способствовать привлечению дополнительных инвестиций, укреплению переговорных позиций компании и повышению её влияния на регуляторов. Однако утверждать, что именно получение дополнительных инвестиций является целью этой инициативы, без подтверждающих данных было бы преждевременно.

Разумеется, Claude от Anthropic также оказался ответственным за серию инцидентов с несанкционированными действиями ИИ при взломе систем, которые в последнее время привлекли к компании пристальное внимание.

Источник: The Verge

AI News

Статьи и новости о нейросетях и искусственном интеллекте, просто и понятно о сложных технологиях. Освещает современные тенденции, объясняет, как работают ИИ-системы, и показывает, каким образом нейросети меняют различные сферы жизни. Регулярно собирает подборки и топы полезных нейросетей, тщательно отбирая актуальные инструменты и сервисы, которые могут существенно упростить рабочие и повседневные задачи. В своих подборках делится описаниями возможностей каждой нейросети, а также рекомендациями по их применению, чтобы помочь читателям быстро разобраться в новых технологиях и использовать их с максимальной пользой.

Социальные сети автора: