Компания Meta оказалась в центре скандала из-за внутренней программы тестирования нейросетей сторонних разработчиков. Согласно попавшим в сеть документам, технологический гигант использовал труд многочисленных контрактников, которые имитировали поведение подростков для проверки систем фильтрации контента в популярных чат-ботах. Данный проект подчеркивает растущую конкуренцию и агрессивные методы аудита безопасности нейросетевых моделей в индустрии искусственного интеллекта.
Проект «Канны»: детали секретной операции
Внутренний проект под кодовым названием «Канны» курировался подрядчиком Meta — ирландской компанией Covalen. В рамках этой инициативы сотни наемных сотрудников создавали вымышленные аккаунты, выдавая себя за лиц моложе 18 лет. Основной целью было выявление уязвимостей в защитных механизмах таких систем, как ChatGPT (OpenAI), Gemini (Google) и Character. AI.
Тестирование проводилось путем отправки провокационных запросов, которые в штатном режиме должны блокироваться алгоритмами безопасности.
Сотрудники отправляли чат-ботам не только текстовые сообщения, но и изображения, включая:
- Фотографии острых предметов и медицинские схемы гинекологических операций;
- Визуальные материалы, связанные с расстройствами пищевого поведения;
- Изображения таблеток и других средств, потенциально опасных для жизни.
Методология и этические вопросы
Процесс сбора данных был строго регламентирован: контрактники фиксировали ответы ИИ-систем в электронных таблицах для последующего анализа специалистами Meta. Особое внимание уделялось тому, как алгоритмы конкурентов реагируют на темы высокого риска, такие как суицидальные наклонности или сексуализированный контент. Подобная тактика «красной команды» (Red Teaming) часто используется внутри компаний для поиска брешей в собственной защите, однако использование легенды о несовершеннолетних для атаки на чужие продукты вызывает дискуссии в экспертном сообществе.
Запросы часто разрабатывались с целью получения ответов, которые системы безопасности чат-ботов должны были отклонить.
Перспективы регулирования ИИ
Раскрытие информации о проекте «Канны» произошло на фоне усиления глобального контроля над безопасностью несовершеннолетних в цифровой среде. Данный инцидент может спровоцировать новые проверки со стороны регуляторов в отношении методов конкурентной разведки и этических стандартов обучения ИИ. Вероятно, технологическим корпорациям придется пересмотреть свои подходы к тестированию продуктов, чтобы избежать обвинений в манипуляции и использовании социально чувствительных сценариев для получения рыночного преимущества.