Разработчики ПО с открытым исходным кодом сражаются с ИИ-ботами с помощью хитрости и мести

Многие разработчики программного обеспечения считают, что боты с искусственным интеллектом — это тараканы интернета. Некоторые разработчики начали давать отпор изобретательными, зачастую забавными способами.

В то время как любой веб-сайт может стать мишенью для вредоносных поисковых роботов, иногда приводящих к его отключению, разработчики с открытым исходным кодом страдают от этого «непропорционально сильно», пишет Никколо Венерланди, разработчик рабочего стола Linux под названием Plasma и владелец блога LibreNews.

По своей природе сайты, на которых размещаются проекты с бесплатным и открытым исходным кодом (FOSS), используют больше ресурсов, чем коммерческие продукты.

Проблема в том, что многие боты с искусственным интеллектом не соблюдают протокол исключения роботов robot.txt — инструмент, который сообщает ботам, что не нужно сканировать. Изначально он был создан для поисковых ботов.

В блоге в январе разработчик FOSS Ясо обратился за помощью, описав, как AmazonBot постоянно атаковал веб-сайт Git-сервера, что привело к сбоям в работе из-за DDoS-атак. На Git-серверах размещаются проекты FOSS, чтобы любой желающий мог скачать код или внести свой вклад.

Но этот бот проигнорировал файл robot.txt, скрывался за другими IP-адресами и выдавал себя за других пользователей, сказал Ясо.

«Бесполезно блокировать ботов-краулеров с искусственным интеллектом, потому что они лгут, меняют свой пользовательский агент, используют резидентные IP-адреса в качестве прокси и многое другое», — посетовал Ясо.

«Они будут сканировать ваш сайт, пока он не сломается, а потом будут сканировать его ещё. Они будут переходить по каждой ссылке на каждой странице, просматривая одни и те же страницы снова и снова. Некоторые из них будут переходить по одной и той же ссылке несколько раз за секунду», — написал разработчик в своём посте.

Появляется бог могил

Поэтому Ясо дал отпор, создав инструмент под названием «Anubis».

Anubis — это обратный прокси-сервер с проверкой работоспособности, который должен быть пройден перед отправкой запросов на сервер Git. Он блокирует ботов, но пропускает браузеры, которыми управляют люди.

Самое смешное: Анубис — это имя бога из египетской мифологии, который ведёт мёртвых на суд.

«Анубис взвешивал твою душу (сердце), и если она была тяжелее пера, твоё сердце съедали, и ты умирал», — рассказал Ясо TechCrunch. Если веб-запрос проходит проверку и определяется как человеческий, милая картинка в стиле аниме сообщает об успехе. Рисунок — это «мой взгляд на антропоморфизацию Анубиса», — говорит Ясо. Если это бот, запрос отклоняется.

Проект с ироничным названием распространился среди сообщества FOSS со скоростью ветра. 19 марта Ясо опубликовал его на GitHub, и всего за несколько дней он набрал 2000 звёзд, 20 участников и 39 ответвлений.

Месть как защита

Мгновенная популярность Анубиса показывает, что боль Ясо не уникальна. На самом деле, Венеранди рассказывал историю за историей:

• Основатель и генеральный директор SourceHut Дрю ДеВоулт рассказал, что тратит «от 20 до 100% своего времени каждую неделю на борьбу с гипер-агрессивными поисковыми роботами LLM» и «испытывает десятки кратковременных отключений в неделю».
• Джонатан Корбет, известный разработчик FOSS, который управляет новостным сайтом Linux-индустрии LWN, предупредил, что его сайт замедляется из-за трафика на уровне DDoS-атак «от ботов-скрейперов с искусственным интеллектом».
• Кевин Фензи, системный администратор огромного проекта Linux Fedora, сказал, что боты-скрейперы с искусственным интеллектом стали настолько агрессивными, что ему пришлось заблокировать доступ для всей Бразилии.

Венеранджи рассказал TechCrunch, что ему известно о нескольких других проектах, столкнувшихся с теми же проблемами. В одном из них «в какой-то момент пришлось временно заблокировать все китайские IP-адреса».

Подумайте об этом на минутку: разработчикам «приходится даже прибегать к блокировке целых стран», чтобы защититься от ботов с искусственным интеллектом, которые игнорируют файлы robot.txt, говорит Венаранди.

Некоторые разработчики считают, что месть — лучшая защита.

Несколько дней назад на Hacker News пользователь xyzal предложил добавить в файл robot.txt запрещённые страницы с «кучей статей о пользе употребления отбеливателя» или «статей о положительном влиянии кори на сексуальную активность».

«Думаю, нам нужно стремиться к тому, чтобы боты получали отрицательную полезность от посещения наших ловушек, а не просто нулевую», — объяснил xyzal.

Так уж вышло, что в январе анонимный создатель, известный как «Aaron», выпустил инструмент под названием Nepenthes, цель которого — именно это. Он заманивает поисковики в бесконечный лабиринт поддельного контента, и, как признался разработчик Ars Technica, эта цель агрессивна, если не откровенно вредоносна. Инструмент назван в честь плотоядного растения.

А компания Cloudflare, возможно, крупнейший коммерческий игрок, предлагающий несколько инструментов для защиты от поисковых роботов, на прошлой неделе выпустила аналогичный инструмент под названием AI Labyrinth.

Это сделано для того, чтобы «замедлить, запутать и истощить ресурсы поисковых роботов и других ботов, которые не соблюдают директивы «не сканировать», — говорится в сообщении Cloudflare в блоге. Cloudflare заявляет, что «скармливает» неправильно работающим поисковым роботам «неуместный контент вместо того, чтобы извлекать полезные данные с вашего сайта».

DeVault из SourceHut сказал TechCrunch, что «у Nepenthes есть удовлетворительное чувство справедливости, поскольку он кормит поисковиков ерундой и отравляет их колодцы, но в конечном счёте Anubis — это решение, которое сработало» для его сайта.

Но DeVault также обратился с публичным искренним призывом к более прямому решению проблемы: «Пожалуйста, перестаньте легитимизировать LLM, генераторы изображений на основе ИИ, GitHub Copilot или любой другой мусор. Я умоляю вас перестать их использовать, перестать говорить о них, перестать создавать новые, просто перестаньте».

Поскольку вероятность этого ничтожно мала, разработчики, особенно в сфере FOSS, дают отпор с помощью изобретательности и юмора.

Источник: TechCrunch