17 января 2026 года группа исследователей представила Terminal-Bench 2.0 — обновленную и расширенную платформу для тестирования ИИ-агентов в условиях интерфейса командной строки (CLI). Этот бенчмарк разработан для комплексной оценки способности нейросетей решать прикладные задачи в терминале, что является критически важным навыком для автоматизации системного администрирования, разработки программного обеспечения и обеспечения цифровой безопасности.
Масштаб тестирования и методология
Новая версия эталонного теста включает в себя 89 уникальных сценариев, базирующихся на реальных рабочих процессах. Исследователи сфокусировались на двух ключевых направлениях: разработке ПО (Software Engineering) и кибербезопасности. В отличие от синтетических тестов, Terminal-Bench 2.0 имитирует живую среду, где ИИ-агенту необходимо не просто генерировать код, но и успешно исполнять его, реагируя на ошибки вывода и изменения в файловой системе.
- Интеграция с современными инструментами разработки;
- Проверка навыков поиска уязвимостей и проведения пентестов;
- Тестирование многошаговых сценариев с сохранением контекста.
Лидеры индустрии и основные проблемы
Результаты испытаний показали, что даже современные флагманские модели сталкиваются с трудностями при работе в CLI. На текущий момент показатель успеха (win rate) всех участников остается ниже 65%. Лидирующую позицию заняла связка GPT-5.2 и Codex CLI с результатом в 63 балла. В тройку лидеров также вошли Claude Opus 4.5 и Gemini 3 Pro, показавшие сопоставимые результаты в задачах системного манипулирования.
Интересным наблюдением стало полное отсутствие прямой корреляции между объемом затраченных токенов и эффективностью решения: более длинные ответы не гарантировали успешного выполнения команды.
Основным препятствием для достижения стопроцентного результата остаются ошибки исполнения. ИИ-агенты часто верно планируют алгоритм, но допускают критические просчеты на этапе непосредственного взаимодействия с оболочкой терминала.
Перспективы развития ИИ-агентов
Появление Terminal-Bench 2.0 подчеркивает переход индустрии от оценки теоретических знаний нейросетей к проверке их практической применимости в качестве автономных помощников. Результаты исследования указывают на необходимость совершенствования механизмов самокоррекции моделей при возникновении ошибок в командной строке. В ближайшем будущем ожидается, что разработчики ИИ сосредоточатся на улучшении логики исполнения команд, что позволит значительно повысить надежность систем автоматизации в корпоративном секторе.