Компания Cloudflare, один из ведущих провайдеров облачных услуг и сервисов безопасности, внедрила новую политику автоматической блокировки ботов, собирающих данные для обучения искусственного интеллекта. Эта мера направлена на защиту прав владельцев контента, однако она выявила сложную проблему во взаимоотношениях с таким гигантом, как Google, против которого стандартные методы оказались неэффективны.
День независимости контента
С 1 июля 2025 года Cloudflare по умолчанию активирует для своих клиентов защиту от ИИ-краулеров — программ, которые массово сканируют веб-сайты для сбора информации. Цель таких ботов, принадлежащих компаниям вроде OpenAI, Anthropic и другим, — получение огромных массивов текстовых и графических данных для тренировки больших языковых моделей (LLM). Проблема заключается в том, что такой сбор данных происходит без разрешения и какой-либо компенсации владельцам сайтов, что обесценивает их труд и подрывает бизнес-модели, основанные на уникальном контенте. По данным Cloudflare, активность ботов достигла невероятных масштабов: на одного реального посетителя сайта может приходиться до 73 тысяч запросов от ИИ-краулера Anthropic. Инициативу Cloudflare, названную "Днем независимости контента", поддержали крупные медиа-платформы, включая Reddit, Pinterest и Condé Nast.
Проблема Google: поиск и ИИ в одном лице
Несмотря на решительные меры против большинства ИИ-ботов, Cloudflare столкнулась с серьезным препятствием в лице Google. Технически заблокировать поисковых роботов Google не составляет труда, но для подавляющего большинства веб-сайтов такой шаг равносилен исчезновению из интернета. Зависимость от поискового трафика Google настолько велика, что блокировка его краулеров приведет к катастрофическому падению посещаемости и доходов.
Суть проблемы в том, что Google использует своих стандартных поисковых роботов, таких как Googlebot, не только для индексации страниц в поисковой выдаче, но и для сбора данных для своих ИИ-сервисов, включая Gemini и AI Overviews. Таким образом, у владельцев сайтов нет возможности запретить сбор данных для обучения ИИ, не пожертвовав при этом своим присутствием в поиске Google. Cloudflare активно призывает Google разделить своих ботов: одного для традиционного поиска, другого — для нужд искусственного интеллекта, что позволило бы сайтам делать осознанный выбор.
Новые инструменты контроля и перспективы
В ответ на сложившуюся ситуацию Cloudflare не просто блокирует ботов, но и предлагает новые механизмы взаимодействия. Компания запустила платформу "Pay Per Crawl" (Плати за сканирование), которая позволяет владельцам сайтов устанавливать плату за доступ к своему контенту для ИИ-компаний. Кроме того, была представлена политика "Content Signals" — расширение для файла `robots.txt`, которое позволяет более точно указать, как можно использовать контент: разрешить для поиска, но запретить для обучения ИИ.
- search=yes: Разрешает индексацию для поисковых систем.
- ai-input=no: Запрещает использование контента в ответах ИИ-систем.
- ai-train=no: Запрещает использование данных для обучения моделей ИИ.
Тем не менее, эти сигналы носят рекомендательный характер, и их соблюдение остается на совести самих ИИ-компаний. Ситуация подчеркивает растущее напряжение между создателями контента и технологическими гигантами, использующими этот контент для развития своих продуктов.
Борьба за контроль над данными в сети вступает в новую фазу. Инициативы Cloudflare стали важным шагом на пути к созданию более справедливой цифровой экосистемы, где труд создателей контента будет уважаться и вознаграждаться. Однако исход этого противостояния, особенно в диалоге с Google, во многом определит будущее интернета и экономики контента.