Компания OpenAI официально представила новый инструмент обеспечения безопасности под названием «Надежный контакт» (Trusted Contact). Данная функция интегрирована в ChatGPT и направлена на предотвращение случаев самоповреждения среди пользователей. Механизм позволяет совершеннолетним участникам платформы назначать доверенное лицо — друга или члена семьи — для оперативного оповещения в кризисных ситуациях.
Принцип работы системы экстренного оповещения
Алгоритмы искусственного интеллекта в режиме реального времени анализируют контекст диалога. Если система фиксирует признаки того, что беседа может привести к нанесению вреда здоровью, интерфейс ChatGPT предложит пользователю самостоятельно связаться с выбранным контактом. Однако предусмотрен и более активный сценарий мониторинга:
- Система автоматически анализирует реплики на предмет деструктивного поведения.
- Внутренняя команда безопасности OpenAI проводит ручную и автоматизированную проверку подозрительных инцидентов.
- При выявлении высокого риска безопасности ChatGPT направляет автоматическое оповещение доверенному лицу с призывом выйти на связь с пользователем.
Контроль и конфиденциальность
Внедрение функции является частью стратегии OpenAI по этичному развитию нейросетей. Важно отметить, что доступ к опции имеют только пользователи, достигшие совершеннолетия. В компании подчеркивают, что решение о передаче уведомления принимается на основе комплексного анализа данных, чтобы минимизировать количество ложных срабатываний и при этом обеспечить своевременную поддержку тем, кто в ней нуждается.
Инициатива «Надежный контакт» демонстрирует переход ИИ-индустрии от пассивных предупреждений к активным инструментам предотвращения угроз. Развитие подобных систем модерации контента позволяет создавать более безопасную среду для взаимодействия человека и больших языковых моделей, делегируя часть ответственности за благополучие пользователя проверенным доверенным лицам.