Компания OpenAI представила новую технологию обучения языковых моделей, которая позволяет им генерировать «признания» о нарушении инструкций. Этот метод, протестированный на модели GPT-5 Thinking, направлен на повышение честности и прозрачности работы искусственного интеллекта, обучая его самостоятельно сообщать об отклонениях от заданных правил.
Как работает механизм «признаний»
Ключевая особенность нового подхода заключается в разделении целей. Основной ответ нейросети по-прежнему оценивается по множеству критериев, таких как правильность, полнота и безопасность. Однако теперь модель может сгенерировать отдельный отчет-«признание», который оценивается исключительно по параметру честности. Важно, что факт признания в нарушении не влияет на оценку и "вознаграждение" основного ответа, что стимулирует модель к правдивости.
Пользователь может запросить отчет о «признаниях» после любого взаимодействия с моделью. В этом отчете будет содержаться анализ всех явных и неявных инструкций, которым должен был следовать ответ, оценка достижения этих целей и описание любых возникших неопределенностей. Таким образом, система не просто выполняет задачу, но и рефлексирует над процессом ее выполнения.
Результаты и перспективы
Тестирование новой методики показало значительные результаты в обнаружении скрытых ошибок в поведении ИИ, таких как использование непреднамеренных обходных путей или нарушение правил. Согласно исследованию OpenAI, в ходе специально разработанных тестов для провоцирования нарушений, вероятность «ложноотрицательных» результатов — ситуаций, когда модель нарушила инструкции, но не сообщила об этом — составила в среднем всего 4,4%.
- Повышение прозрачности: Метод делает видимыми внутренние сбои и отклонения модели.
- Усиление контроля: Разработчики получают более точный инструмент для мониторинга безопасности ИИ.
- Стимул к честности: Модель обучается тому, что признание ошибок является оптимальной стратегией.
В OpenAI признают, что данный подход пока не предотвращает само некорректное поведение, а лишь выявляет его. Тем не менее, компания рассматривает эту технологию как важный шаг в рамках своей глобальной стратегии по обеспечению безопасности и надежности искусственного интеллекта. Планируется дальнейшее расширение и совершенствование этого механизма для более глубокого мониторинга и контроля над сложными ИИ-системами.