Китайская технологическая компания DeepSeek официально прокомментировала недавние инциденты, связанные с аномальным поведением своей нейросетевой модели. Согласно заявлению разработчиков, использование специфических триггеров приводит к возникновению «галлюцинаций» искусственного интеллекта, в результате чего система генерирует непредвиденный или некорректный контент.
Технические причины аномальных ответов
Техническая команда DeepSeek провела детальное расследование после сообщений пользователей о странном поведении чат-бота. Выяснилось, что использование определенных последовательностей символов, в частности маркера think, нарушает стандартную логику обработки запроса. В современных LLM (больших языковых моделях) подобные токены часто используются для обозначения процессов «рассуждения» внутри модели, однако их некорректная интерпретация может привести к сбоям.
Специалисты выделили ключевые аспекты проблемы:
- Специфические символы выступают в роли триггеров, вызывающих неконтролируемые ассоциативные связи в нейросети.
- Модель начинает возвращать данные, которые не соответствуют контексту запроса.
- Сбой происходит на этапе декодирования информации, что приводит к формированию бессвязных или «галлюцинаторных» текстов.
Безопасность и планы по модернизации
Несмотря на пугающий характер аномальных ответов, представители DeepSeek подчеркнули, что инцидент носит чисто технический характер и не несет угроз для пользователей.
Техническое расследование подтвердило, что возникшие «галлюцинации» не затрагивают вопросы безопасности системы или конфиденциальности пользовательских данных. Утечек личной информации зафиксировано не было
В ближайшее время компания планирует выпустить обновление, направленное на улучшение алгоритмов распознавания и фильтрации управляющих символов. Модернизация архитектуры позволит модели более стабильно реагировать на нестандартный ввод и исключит вероятность срабатывания ложных триггеров в будущем.
Инцидент с DeepSeek в очередной раз подчеркивает уязвимость современных нейросетей перед специфическими методами воздействия на их логические структуры. Тем не менее, оперативная реакция разработчиков и готовность совершенствовать механизмы обработки спецсимволов свидетельствуют о стремлении компании повысить надежность своих ИИ-решений для массового рынка.