В мире искусственного интеллекта произошло значимое событие: исследовательская команда представила Lumine — универсальный игровой интеллект, способный эффективно действовать в сложных 3D-средах. Этот прорывной ИИ-агент демонстрирует способность к человекоподобному восприятию, мышлению и управлению в популярных играх, таких как Genshin Impact, что открывает новые перспективы для создания универсальных агентов.
Lumine: Игровой ИИ нового поколения
Lumine представляет собой визуально-языковую модель, спроектированную для выполнения полного цикла "видеть-думать-действовать" в режиме end-to-end. Получая входные данные с пикселей с частотой 5 Гц, модель генерирует команды управления для клавиатуры и мыши с частотой 30 Гц. Этот универсальный интеллект способен выполнять задачи, продолжительность которых может достигать нескольких часов. В ходе испытаний Lumine прошел основной сюжет Мондштадта в Genshin Impact примерно за 5 часов, демонстрируя эффективность на уровне человека.
Обучение модели базировалось на обширном наборе данных, включающем 1731 час игрового процесса с участием человека, 200 часов следования инструкциям и 15 часов данных для логических выводов.
Автономное прохождение и многочасовые задачи
Одной из наиболее впечатляющих особенностей Lumine является его способность к самостоятельному прохождению сюжета даже при условии, что обучающие данные охватывали только первую часть игрового контента. ИИ-агент успешно справляется с разнообразными сложными задачами в 3D-мире, включая:
- Сбор предметов
- Сражения с противниками
- Решение игровых головоломок
- Диалоги с неигровыми персонажами (NPC)
- Взаимодействие с 2D-интерфейсом игры
Универсальность и обобщение между играми
Помимо впечатляющих результатов в Genshin Impact, Lumine продемонстрировал выдающуюся способность к обобщению на совершенно новые игровые среды без какой-либо донастройки. Без дополнительного обучения модель прошла главу "Космическая станция Хейлор" в Honkai: Star Rail примерно за 7 часов. Кроме того, Lumine успешно выполнил около 100 минут основного сюжета в Wuthering Waves. Согласно представленной публикации, это первый открытый универсальный интеллект, способный решать многочасовые задачи в сложном 3D-мире, что является существенным достижением.
Представление Lumine знаменует собой важный шаг в развитии искусственного интеллекта, особенно в контексте создания универсальных агентов для открытых и динамичных сред. Способность ИИ-агента к человекоподобному взаимодействию, обучению и обобщению в различных игровых мирах открывает широкие перспективы для будущих исследований и разработок в области ИИ, включая потенциальное применение за пределами игровой индустрии.