Институт искусственного интеллекта Аллена (Ai2) представил Molmo 2, новое поколение своей мультимодальной модели с открытым исходным кодом, предназначенной для глубокого анализа видео и изображений. По заявлениям разработчиков, производительность новой модели сопоставима с ведущими проприетарными системами, а в некоторых задачах, таких как отслеживание объектов на видео, даже превосходит их.
Новые горизонты понимания видео
Molmo 2 является развитием предыдущей версии, Molmo, которая была сосредоточена на анализе статичных изображений. Вторая версия делает значительный шаг вперед, предлагая расширенные возможности для работы с видеопотоком и наборами из нескольких изображений. Ключевыми нововведениями стали трекинг объектов, логический анализ нескольких кадров и точное указание на события как в пространстве (пиксельные координаты), так и во времени (временные метки). Эти функции открывают перспективы для создания более сложных и точных систем в таких областях, как вспомогательные технологии, промышленная автоматизация и робототехника.
Эффективность и открытость
Семейство Molmo 2 включает несколько вариантов, в том числе модели на 8 и 4 миллиарда параметров (8B и 4B), построенные на базе языковой модели Qwen3 от Alibaba. Примечательно, что модель Molmo 2 8B превосходит по точности и эффективности предыдущую 72-миллиардную версию Molmo. Кроме того, представлен полностью открытый вариант Molmo 2-O-7B на основе собственной модели Ai2 Olmo. Разработчики подчеркивают, что высокая производительность достигается при использовании значительно меньшего объема обучающих данных по сравнению с конкурентами — 9,19 миллиона видео против 72,5 миллиона у PerceptionLM от Meta.
Доступность для исследователей
В соответствии со своей приверженностью к открытой науке, Ai2 предоставляет публичный доступ ко всем моделям, наборам данных, инструментам оценки и протоколам обучения. Модели уже доступны на платформах Hugging Face и Ai2 Playground для интерактивного тестирования. Этот шаг направлен на ускорение исследований и разработок в области мультимодального искусственного интеллекта, предоставляя глобальному сообществу мощные инструменты для создания нового поколения интеллектуальных систем.
В то время как видео становится доминирующей формой информации в интернете и основным источником данных для роботов и автономных систем, выпуск Molmo 2 знаменует собой важный этап в развитии технологий компьютерного зрения. Открытый доступ к моделям такого уровня способствует демократизации передовых разработок в области ИИ и стимулирует появление новых инновационных приложений.