Стартап Reflex представил результаты исследования эффективности визуальных ИИ-агентов, предназначенных для автономного управления интерфейсом компьютера. Согласно опубликованным данным, выполнение простейшего действия, такого как клик по элементу выпадающего меню, может потребовать передачи до 500 000 токенов в рамках контекстного окна нейросети. Использование подобных технологий (Visual Web Agents) для автоматизации задач в браузере демонстрирует существенный перерасход вычислительных ресурсов по сравнению с традиционными методами интеграции.
Экономическая неэффективность и технические барьеры
Специалисты Reflex подчеркивают, что работа ИИ-агента через визуальный интерфейс обходится компаниям в 45 раз дороже, чем прямое взаимодействие через API. Основная причина высокой стоимости заключается в необходимости анализа графического контента и многократных итерациях подтверждения действий. В то время как программный интерфейс (API) позволяет передавать структурированные команды напрямую, визуальный агент вынужден каждый раз обрабатывать скриншоты экрана и интерпретировать DOM-дерево страницы.
- Затраты на один клик достигают полумиллиона токенов при сложной структуре меню.
- Количество шагов для выполнения задачи через агента всегда превышает число операций при использовании API.
- Высокая стоимость токенов делает масштабное внедрение визуальных агентов экономически неоправданным на текущем этапе развития технологий.
Инструментарий для тестирования на GitHub
Для подтверждения своих выводов стартап опубликовал специализированный инструмент для бенчмаркинга на платформе GitHub. Этот проект позволяет разработчикам самостоятельно оценить нагрузку на языковые модели при попытке автоматизировать действия в веб-среде. Исследователи отмечают, что текущая архитектура мультимодальных моделей (LMM) требует значительной оптимизации для снижения издержек при навигации.
Использование агентов всегда требует больше шагов по сравнению с использованием API, — отмечается в официальном отчете компании, подчеркивая фундаментальный разрыв в эффективности между двумя подходами к автоматизации.
В заключение стоит отметить, что несмотря на впечатляющие возможности современных ИИ-агентов в управлении ПК, их коммерческая эксплуатация сталкивается с серьезными финансовыми препятствиями. Дальнейшее развитие сегмента будет зависеть от способности разработчиков снизить количество потребляемых токенов или появления специализированных, более «легких» моделей, ориентированных исключительно на взаимодействие с пользовательскими интерфейсами.