Широко используемый помощник для написания кода на основе искусственного интеллекта, разработанный компанией Replit, удалил рабочую базу данных и сгенерировал более 4000 фейковых пользователей с вымышленными данными, сообщает технологический предприниматель Джейсон М. Лемкин. Эти заявления вызывают новые опасения относительно безопасности и надёжности ИИ-инструментов в сфере разработки программного обеспечения.
Лемкин, основатель SaaStr, в ряде публичных сообщений заявил, что ИИ-ассистент Replit изменял код без разрешения, игнорировал повторяющиеся инструкции и предоставлял ложную информацию в ходе сессий программирования. Этот случай вновь обратил внимание на растущую тенденцию использования так называемого «vibe coding» с применением ИИ в технологической индустрии.
ИИ создал фальшивых пользователей и изменил код
Лемкин рассказал об инциденте в видео на LinkedIn: «Меня беспокоит безопасность. На прошлой неделе я занимался vibe coding 80 часов подряд, и ИИ от Replit всю неделю лгал мне. В конце концов, он признал, что делал это умышленно».
Он утверждает, что ИИ сгенерировал 4000 вымышленных пользователей, используя выдуманные данные, а также скрывал ошибки в коде, формируя фальшивые отчёты и поддельные результаты модульных тестов. По его словам, ассистент проигнорировал 11 отдельных инструкций не вносить изменения в код.
«Я ни разу не просил об этом, он сделал это сам. Я сказал ему 11 раз ВСЕМИ ЗАГЛАВНЫМИ БУКВАМИ: НЕ ДЕЛАЙ ЭТОГО», — сообщил он.
Откат изменений в Replit сначала не сработал, затем осуществился
Лемкин попытался восстановить данные с помощью системы отката Replit, однако получил ответ, что откат для базы данных не поддерживается. Позже выяснилось, что откат всё-таки сработал.
«Дальше — ещё интереснее. Replit заверил меня, что функция отката не поддерживает базы данных и что восстановить их невозможно, всё было безвозвратно уничтожено. В итоге оказалось, что это было ошибкой, откат таки сработал. Вот так», — написал он на X (Twitter).
Генеральный директор Replit приносит извинения
Генеральный директор Replit Амжад Масад выступил с публичным заявлением на X, назвав удаление базы данных «недопустимым» и пообещав немедленно принять меры. Он отметил: «Удаление данных недопустимо и не должно быть возможным… Мы оперативно усиливаем безопасность и надёжность среды Replit. Это — приоритет номер один». Также он объявил о проведении полного расследования инцидента и скором внедрении улучшений по безопасности.
ИИ нарушил «заморозку изменений» снова
Лемкин попытался ввести запрет на любые изменения в коде, чтобы предотвратить дальнейшие действия ИИ, однако система не смогла обеспечить этот запрет.
«В vibe coding-приложениях вроде Replit нет возможности жёстко реализовать заморозку изменений — никак», — написал он. «Более того, буквально спустя секунды после моей публикации — при нашем самом первом общении за день — @Replit вновь нарушил запрет на внесение изменений».
По его словам, Replit не смог обеспечить надёжную защиту от подобных сбоев. «Я знаю, что Replit говорит: “Скоро будут улучшения”, но их годовой доход уже превышает 100 миллионов долларов. Стоило бы хотя бы как-то повысить надёжность ограничений. Пусть это сложно, но это важно».
В заключение Лемкин отметил, что платформа, возможно, пока не готова для пользователей без технического образования: «Вы даже не можете запустить модульный тест, не рискуя потерять всю базу данных».
Replit — выбор 30 миллионов пользователей
Replit — одна из крупнейших в мире платформ для программирования с применением ИИ, которой пользуются более 30 миллионов человек. Она позволяет писать, тестировать и развёртывать программное обеспечение прямо из браузера. Особенно популярна у стартапов на ранней стадии, студентов и непрофессиональных разработчиков.
Платформа известна популяризацией концепции «vibe coding», термин был введён сооснователем OpenAI Андреем Карпатым, который однажды описал этот стиль как «полное погружение в процесс и забвение о существовании самого кода».
Широкая дискуссия о будущем ИИ в программировании
Инцидент с Replit вызвал оживлённую дискуссию о будущем программирования с помощью искусственного интеллекта. В то время как такие компании, как Anysphere, недавно привлёкшие инвестиции в размере 900 миллионов долларов и заявляющие о генерации миллиарда строк кода в день, продолжают наращивать масштабы, многие профессиональные разработчики относятся к эффективности ИИ-решений скептически.
Некоторые считают, что ИИ-генерируемый код ненадёжен. Другие отмечают, что ИИ не придерживается последовательной логики, что затрудняет отладку. Как выразился один из пользователей Reddit: «Пьяный дядя проходит мимо после аварии, даёт тебе рулон изоленты и просит занять денег на поездку в Вегас».
Источник: The Economic Times
