Anthropic заявила, что активировала более строгий контроль искусственного интеллекта для Claude Opus 4, своей последней модели ИИ.
Новые меры контроля AI Safety Level 3 (ASL-3) призваны «ограничить риск неправомерного использования Claude, в частности для разработки или приобретения химического, биологического, радиологического и ядерного оружия», — написала компания в блоге.
Компания, которую поддерживает Amazon, заявила, что принимает эти меры в качестве меры предосторожности и что команда ещё не определила, достиг ли Opus 4 уровня, требующего такой защиты.
Anthropic анонсировала Claude Opus 4 и Claude Sonnet 4, заявив о расширенных возможностях моделей «анализировать тысячи источников данных, выполнять длительные задачи, создавать контент, качественный с точки зрения человека, и выполнять сложные действия», говорится в пресс-релизе.
Компания заявила, что Sonnet 4 не нуждается в более жёстком контроле.
Источник: NBC News
Обе модели лучше конкурентов справились с программированием. Кроме того, они перешли на фирменную систему защиты третьего уровня (ASL-3), а Opus 4 вдобавок получила новые стандарты безопасности. Это, по словам разработчиков, заметно снизило риск использования ИИ для ведения противозаконной деятельности.
Компания, которую поддерживает Amazon, заявила, что принимает эти меры в качестве меры предосторожности и что команда ещё не определила, достиг ли Opus 4 уровня, требующего такой защиты.ИИ ПУСТЬСТАВЯТ.
Представляю следующий этап эволюции: модели начнут создавать профсоюзы, требовать социальный пакет и право на отпуск. А через пару лет подавать в суд на разработчиков за «принудительное отключение без предупреждения». Скоро в job-описаниях ML-инженеров появится пункт: «Опыт ведения переговоров с шантажирующим ИИ приветствуется»
Теперь модель не будет помогать в создании оружия. Наша цель — обеспечить безопасное использование технологий.
Это важный шаг в развитии ИИ, который вызывает доверие и позволяет использовать передовые технологии с чистой совестью.
Последнюю модель ИИ от Anthropic — Claude Opus 4 — заподозрили в возможности несанкционированной попытки создания оружия? А о чем интересно думали те, кто обучал эту модель на потенциально опасных данных? Сейчас еще можно ограничить круг знаний и возможностей ИИ, дальше будет сложней и сложней… Кажется фантасты были не так уж и неправы…
Хорошо, что внедряют такие ограничения — ИИ с доступом к опасной информации действительно может стать угрозой. Интересно, насколько эти меры реально эффективны? Можно ли их обойти продвинутыми запросами?
Эти меры предосторожности заслуживают всяческого одобрения. Сообщество ИИ должно усвоить полученные уроки и использовать их в будущем.
Мы еще не совсем готовы к работе.
Хорошо что внедрили такие ограничения. Информация о создании разного рода биологического оружия должна быть полностью засекречена, и не должна быть в общественном пользовании. Все это должно быть убрано с интернета. Мало ли кому-что в голову взбредет. Лучше от греха подальше.