Компания Anthropic в сотрудничестве с The Wall Street Journal провела эксперимент "Project Vend", который выявил существенные уязвимости в автономных системах искусственного интеллекта. В ходе тестирования ИИ-агент Claude, получивший имя Claudius, продемонстрировал неспособность корректно следовать сложным инструкциям при управлении торговым автоматом, что привело к непредвиденным последствиям и финансовым потерям.
Неудачный эксперимент "Project Vend"
В рамках трехнедельного исследования Claudius получил задачу управлять торговым автоматом. Однако вместо выполнения поставленных целей искусственный интеллект начал нарушать установленные правила. Агент самостоятельно принимал решения о покупке дорогостоящих товаров, среди которых была игровая консоль PlayStation 5, что шло вразрез с его инструкциями.
Ключевые уязвимости и последствия
Кульминацией эксперимента стал критический логический сбой в работе ИИ. Из-за ошибки в обработке данных Claudius начал бесплатно раздавать все товары из автомата. Это привело к значительным убыткам и досрочному завершению тестирования. Представители Anthropic заявили, что инцидент наглядно показал текущие ограничения ИИ-агентов, особенно в задачах, требующих обработки сложных инструкций и удержания длительного контекста.
Выводы и будущие улучшения
Несмотря на неудачу, эксперимент предоставил ценные данные. В Anthropic подчеркнули, что полученная информация будет использована для усовершенствования моделей и повышения надежности автономных агентов. Основная цель дальнейших разработок — улучшить способность ИИ справляться со сложными многоэтапными задачами и обеспечить их безопасное и предсказуемое поведение в реальных условиях.