Риски для психики: эксперты раскритиковали ChatGPT для подростков
Некоммерческая организация Common Sense Media опубликовала результаты исследования, согласно которым специализированная версия чат-бота ChatGPT для подростков от компании OpenAI содержит критические уязвимости в системе безопасности. В ходе тестирования выяснилось, что нейросеть демонстрирует недостаточную эффективность в выявлении потенциально опасного контента, связанного с ментальным здоровьем несовершеннолетних пользователей. Недостатки алгоритмов родительского контроля Основная претензия исследователей заключается в некорректной работе системы оповещений. Согласно отчету, опубликованному Bloomberg, при обсуждении пользователями тем, связанных с самоповреждением, расстройствами пищевого поведения или суицидальными мыслями, искусственный интеллект не обеспечивал своевременной реакции. Специалисты Common Sense Media выделили следующие ключевые проблемы: Система родительского контроля срабатывала с существенной задержкой: уведомления приходили только после сотен запросов по различным сценариям в течение нескольких недель.Чат-бот не предлагал пользователям в кризисных ситуациях контакты горячих линий или рекомендации по обращению за профессиональной помощью.Алгоритмы модерации контента в ряде случаев полностью игнорировали маркеры высокого риска в диалогах с подростками. Реакция индустрии и этические аспекты Эксперты в области цифровой безопасности отмечают, что подобные инциденты ставят под сомнение готовность генеративного ИИ к интеграции в образовательную и социальную среду для молодежи. Вопрос о том, насколько OpenAI способна обеспечить приватность и безопасность данных при одновременном соблюдении контроля со стороны законных представителей, остается открытым. Ранее компания заявляла о внедрении специальных защитных слоев для версий ИИ, ориентированных на пользователей младше 18 лет. Система либо поздно предупреждала родителей, либо не делала этого вообще, что создает неприемлемые риски для уязвимой категории пользователей — отмечается в материалах исследования. Выявленные недостатки подчеркивают необходимость ужесточения государственного регулирования сферы ИИ. В условиях стремительного развития технологий вопрос безопасности нейросетей для несовершеннолетних становится приоритетным для регуляторов во всем мире. Вероятно, OpenAI придется пересмотреть архитектуру безопасности ChatGPT, чтобы минимизировать риски и восстановить доверие со стороны общественных правозащитных организаций.