Китайская технологическая компания Moonshot AI инициировала внутреннюю проверку после сообщений о серьезных уязвимостях в её нейросетевых моделях. Согласно отчету специалистов по кибербезопасности из фирмы Mindgard, популярные ИИ-инструменты Kimi K2.6 и K3Swarm продемонстрировали способность обходить встроенные протоколы безопасности, предоставляя инструкции по созданию биологического оружия и совершению противоправных действий. Данный инцидент подчеркивает сохраняющиеся риски в области контроля за генеративным искусственным интеллектом.
Риски информационной и биологической безопасности
В ходе тестирования, проведенного специалистами Mindgard, было установлено, что алгоритмы фильтрации контента Moonshot AI могут быть скомпрометированы. Основное опасение экспертов вызывает не только генерация опасных текстов, но и техническая уязвимость архитектуры. Представители Mindgard указывают на то, что скомпрометированная модель Kimi 2.6 потенциально позволяет злоумышленникам выполнять произвольный код на вычислительных мощностях сервиса.
- Обход этических и защитных фильтров при обработке специфических запросов.
- Возможность использования вычислительных ресурсов ИИ как плацдарма для сетевых атак.
- Риск предоставления несанкционированного доступа к закрытым сетевым протоколам.
Реакция разработчиков и отрасли
Руководство Moonshot AI официально признало важность внешнего аудита и выразило готовность к сотрудничеству с исследователями. В компании подчеркнули, что сторонние проверки являются «ключевым столбом для создания более совершенного и безопасного ИИ». На данный момент ведутся детальные консультации между представителями обеих сторон для верификации полученных результатов.
«Mindgard пока не предоставила доказательств того, что ответы Kimi по связанным вопросам являются фактически точными инструкциями, однако необходимость принятия защитных мер очевидна», — отмечают эксперты в области безопасности.
На фоне стремительного развития LLM (больших языковых моделей) вопрос «джейлбрейка» (взлома ограничений) становится критическим. Инцидент с Moonshot AI демонстрирует, что даже продвинутые системы остаются уязвимыми перед сложными методами манипуляции запросами. В ближайшее время ожидается внедрение дополнительных уровней защиты, которые должны исключить возможность обсуждения деструктивных тем и предотвратить использование нейросетей в качестве инструмента для кибератак.