Специалисты компании Cloudflare опубликовали отчет, согласно которому робот Googlebot генерирует в 167 раз больше трафика, связанного с обучением искусственного интеллекта, чем системы конкурентов. В связи с этим эксперты призывают регуляторы к принудительному разделению поисковых и AI-краулеров технологического гиганта. Такое доминирование дает Google беспрецедентное преимущество в развитии генеративного ИИ, используя инфраструктуру традиционного поиска для сбора данных.
Монополия на данные и влияние на издателей
Согласно анализу Cloudflare, текущая структура работы Googlebot ставит владельцев сайтов в зависимое положение. Издатели вынуждены разрешать индексацию своего контента для AI-моделей, чтобы не потерять позиции в поисковой выдаче, которая является основным источником органического трафика. В текущей конфигурации блокировка сбора данных для нейросетей зачастую приводит к полному исчезновению ресурса из результатов поиска.
Британское Управление по конкуренции и рынкам (CMA) уже начало консультации по внедрению нового кодекса поведения для Google. Предлагаемые меры включают:
- Обеспечение прозрачности в использовании контента для обучения моделей Gemini.
- Предоставление издателям инструментов для выборочного запрета на сбор данных.
- Предотвращение дискриминации ресурсов в поиске при отказе от участия в AI-программах.
Необходимость технического разделения краулеров
Cloudflare настаивает, что единственным эффективным решением проблемы является принудительное разделение поискового робота и краулера для обучения искусственного интеллекта. Это позволит веб-мастерам использовать стандартные протоколы (например, robots.txt) для управления доступом к контенту без риска для SEO-показателей.
Существующая система усиливает зависимость издателей от Google, фактически лишая их выбора в вопросе передачи интеллектуальной собственности для разработки коммерческих AI-продуктов — отмечают представители Cloudflare в своем обращении к регуляторам.
Реализация данных предложений может существенно изменить ландшафт рынка генеративного ИИ и поиска. Если требования Cloudflare и CMA будут приняты, Google придется пересмотреть свои методы сбора данных, что создаст более равные условия для конкуренции в сегменте нейросетевых технологий и защитит интересы производителей контента в долгосрочной перспективе.