Cloudflare, поставщик облачной инфраструктуры, обслуживающий 20 % веб-сайтов, объявил во вторник о запуске новой торговой площадки, которая переосмысливает отношения между владельцами веб-сайтов и компаниями, занимающимися искусственным интеллектом. В идеале это позволит издателям лучше контролировать свой контент.
За последний год Cloudflare выпустила инструменты для издателей, призванные решить проблему стремительного роста числа поисковых роботов с искусственным интеллектом, в том числе решение для блокировки всех ботов с искусственным интеллектом в один клик, а также панель управления для отслеживания того, как поисковые роботы с искусственным интеллектом посещают ваш сайт. В интервью 2024 года генеральный директор Cloudflare Мэтью Принс рассказал, что эти продукты закладывают основу для нового типа рынка, на котором издатели смогут распространять свой контент среди компаний, занимающихся искусственным интеллектом, и получать за это вознаграждение.
Теперь Cloudflare воплощает этот рынок в жизнь.
Новинка называется Pay per Crawl, и во вторник Cloudflare запустила «эксперимент» в закрытом бета-тестировании. Владельцы сайтов, участвующие в эксперименте, могут разрешить ИИ-сканерам сканировать свой сайт за определённую плату — микроплатеж за каждый «crawl». Кроме того, владельцы сайтов могут разрешить ИИ-сканерам сканировать свой сайт бесплатно или полностью заблокировать их. Cloudflare утверждает, что её инструменты позволят владельцам сайтов видеть, сканируют ли ИИ-сканеры их сайт для сбора данных для обучения ИИ, для отображения в результатах поиска ИИ или для других целей.
В целом маркетплейс Cloudflare — это масштабная идея, которая может предложить издателям потенциальную бизнес-модель для эпохи искусственного интеллекта, а также поставить Cloudflare в центр всего этого. Запуск маркетплейса происходит в то время, когда новостные издания сталкиваются с экзистенциальными вопросами о том, как привлечь читателей, поскольку трафик из Google Search сокращается, а популярность чат-ботов с искусственным интеллектом растёт.
Нет однозначного ответа на вопрос, как новостные издания будут выживать в эпоху ИИ. Некоторые из них, например The New York Times, подали иски против технологических компаний за то, что те обучали свои ИИ-модели на новостных статьях без разрешения. В то же время другие издательства заключили многолетние соглашения о лицензировании своего контента для обучения ИИ-моделей и для того, чтобы их контент появлялся в ответах чат-ботов с искусственным интеллектом.
Тем не менее только крупные издатели заключили соглашения о лицензировании ИИ, и до сих пор неясно, приносят ли они значимый доход. Cloudflare стремится создать более надёжную систему, в которой издатели смогут устанавливать цены на своих условиях.
Во вторник компания также объявила, что новые веб-сайты, созданные с помощью Cloudflare, теперь по умолчанию будут блокировать все поисковые роботы с искусственным интеллектом. Владельцам сайтов придётся давать разрешение на доступ к своим сайтам определённым поисковым роботам с искусственным интеллектом. По словам Cloudflare, это изменение позволит каждому новому домену «контролировать ситуацию по умолчанию».
Несколько крупных издательств, в том числе Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK и Fortune, заключили соглашение с Cloudflare о блокировке поисковых роботов с искусственным интеллектом по умолчанию в рамках более широкой цели компании — «подход к сканированию на основе разрешений».
Бизнес-модель, на которую многие из этих издателей полагались десятилетиями, постепенно становится ненадежной. Исторически сложилось так, что онлайн-издатели разрешали Google парсить их сайты в обмен на переходы по ссылкам в поиске Google, что приводило к увеличению трафика на их сайтах и, в конечном счете, к росту доходов от рекламы.
Однако новые данные от Cloudflare свидетельствуют о том, что в эпоху ИИ издатели могут получать меньше прибыли, чем в эпоху Google Search. Хотя некоторые веб-сайты называют ChatGPT основным источником трафика, в целом это не так.
В июне этого года Cloudflare сообщила, что поисковый робот Google просматривал сайты 14 раз за каждую предоставленную им ссылку. Между тем поисковый робот OpenAI просматривал сайты 1700 раз за каждую предоставленную ссылку, а робот Anthropic — 73 000 раз за каждую предоставленную ссылку.
Тем временем OpenAI и Google создают ИИ-агентов, которые предназначены для посещения веб-сайтов от имени пользователей, сбора информации и её непосредственной передачи пользователям. Будущее, в котором эти инструменты станут массовыми, будет иметь огромное значение для издателей, которые рассчитывают на то, что читатели будут посещать их сайты.
Cloudflare отмечает, что «истинный потенциал» модели Pay per Crawl может раскрыться в «агентном» будущем.
«Что, если бы агентский платный доступ мог работать на периферии сети полностью программно? Представьте, что вы просите свою любимую программу для углубленных исследований помочь вам обобщить последние данные об исследованиях рака или составить юридическое заключение, или просто найти лучший ресторан в Сохо, а затем выделяете этому агенту бюджет на приобретение лучшего и наиболее релевантного контента», — говорится в сообщении Cloudflare в блоге.
Чтобы участвовать в экспериментальном маркетплейсе Cloudflare, компаниям, занимающимся искусственным интеллектом, и издателям необходимо создать учётные записи Cloudflare. В своих учётных записях обе стороны могут устанавливать цены, по которым они хотели бы покупать и продавать «сканирование» контента издателя. Cloudflare выступает посредником в этих транзакциях, взимая плату с компании, занимающейся искусственным интеллектом, и распределяя доходы между издателями.
Представитель Cloudflare Рипли Парк сообщил, что на данный момент в Pay per Crawl не используются стейблкоины или криптовалюта, хотя многие предполагали, что цифровая валюта идеально подошла бы для чего-то подобного.
Однако во время выступления во вторник в шоу TBPN Принс сказал, что Cloudflare рассматривает возможность «создания собственного стейблкоина, который будет использоваться для проведения таких транзакций», а также сотрудничает с другими поставщиками стейблкоинов.
Торговая площадка Cloudflare — это смелая идея для будущего, для реализации которой потребуется участие множества издателей и компаний, занимающихся искусственным интеллектом. Тем не менее нет никакой гарантии, что издатели получат выгодные условия, а убедить компании, занимающиеся искусственным интеллектом, принять участие в проекте может быть непросто, учитывая, что в настоящее время они собирают контент бесплатно.
Тем не менее Cloudflare, похоже, является одной из немногих компаний, способных создать подобный маркетплейс.
Источник: TechCrunch
Это может помочь снизить нагрузку на серверы и повысить доходы владельцев веб-сайтов, одновременно создавая экономическую модель для регулирования взаимодействия ИИ-систем с публичным контентом. Такой подход может стать важным инструментом в защите данных и соблюдении прав владельцев сайтов, а также стимулировать разработчиков создавать более этичные и регулируемые ИИ-боты.
Да, Cloudflare действительно запустила новую платформу, которая позволяет владельцам веб-сайтов взимать плату с ИИ-ботов за доступ к данным на их ресурсах. Это шаг был предпринят с целью защиты веб-сайтов от автоматизированного сбора данных, а также создания нового источника дохода для их владельцев.
Такой шаг может также усилить конкуренцию на рынке облачных услуг, предложив пользователям дополнительные инструменты для оптимизации и защиты своих ресурсов.
Cloudflare видит будущее в «агентском интернете», где пользовательские ИИ-агенты смогут покупать доступ к данным для выполнения задач (например, поиск исследований по онкологии). Однако успех зависит от готовности участников рынка перейти от бесплатной модели к микроплатежам.
Инициатива уже вызвала дискуссии: одни видят в ней защиту авторского контента, другие — угрозу для стартапов, которые не смогут конкурировать с крупными игроками. Пока сервис находится в закрытом тестировании, но его масштабирование может изменить правила игры в цифровой экономике.
Круто, что теперь за ботов будут брать деньги — владельцы сайтов хоть не будут терять доход на просмотрах. Раньше ведь куча трафика уходила впустую из-за них. А теперь хоть справедливость какая-то появилась. Пусть боты тоже платят за «вход».
Очень интересное развитие событий — модель монетизации данных через взаимодействие с ИИ-ботами от Cloudflare действительно на шаг впереди. Мне особенно близок вопрос: как именно будет организован контроль и прозрачность при взимании платы с ботов, чтобы не возникало злоупотреблений? И ещё любопытно, отметят ли это нововведение владельцы небольших сайтов, где трафик со скриптов не уступает по объёму запросам от людей.
Однако, это также вызывает вопросы о конфиденциальности, этике и правомерности сбора данных, а также о возможных последствиях для пользователей и участников рынка.
Какие меры Cloudflare предпримет, чтобы обеспечить безопасность и конфиденциальность данных на своей торговой площадке?
Как эта новация повлияет на развитие законодательства о сборе и использовании данных в Интернете?
Представляю, как владельцы мелких сайтов теперь должны не только создавать контент, но и играть роль дилеров, выторговывая цену за доступ к своим текстам с гигантами вроде OpenAI. Только вот твой контент не нужен будет никому, тогда остаешься с заблокированными ботами и пустым кошельком. Эксперимент интересен, но ощущается как попытка приручить дикого зверя, который уже сожрал старые правила игры.
Инновационная инициатива Cloudflare по запуску торговой площадки для взимания платы с ИИ-ботов за сбор данных представляет собой важный шаг в регулировании цифрового пространства. Это может помочь повысить прозрачность и справедливость в использовании данных, а также стимулировать разработчиков и компании к более ответственному подходу к сбору информации. Однако важно учитывать возможные последствия для малого бизнеса и исследовательских проектов, которые могут столкнуться с дополнительными затратами. В целом, такой механизм может стать частью более устойчивой модели управления данными в интернете, способствуя балансировке интересов всех участников.
Разве не настало время для сайтов защитить свои данные? Кто должен платить за использование ресурсов? Почему ИИ-боты должны быть исключением? Разве не пора поставить точку в этом вопросе? Кто из нас не сталкивался с утечками информации? И как долго мы будем мириться с несправедливостью? Почему мы должны продолжать терпеть?
Интересный ход от Cloudflare! Наконец-то появляются механизмы, которые могут хоть как-то защитить контент сайтов от безудержного скрэпинга ИИ-ботами. Хотя, конечно, вопрос в том, насколько это реально поможет небольшим ресурсам, а не просто станет ещё одним инструментом монетизации для крупных игроков. В любом случае, тренд на регулирование доступа ИИ к данным явно набирает обороты — и это правильно.
Отличное решение от Cloudflare! Теперь владельцы сайтов по умолчанию запрещают любым ботам сканировать их контент. А уж разрешать и кому разрешать, и за какую плату разрешать — это уже на усмотрение владельцев. Думаю, это снимет вопросы о правомерности использования контента в обучении ИИ.
Хороший ход и интересное решение от Cloudflare. Снимать деньги с ботов тоже нужно, сейчас же многие ими пользуются. Все стоит денег, так что пусть платят. А на шару только шара, ничего больше. Идея конечно смелая, но время покажет что с этого получится. В любом случае смелый ход, для одних это выгодно, для кого-то не особо.