Компания Xiaomi анонсировала выпуск новой языковой модели MiMo-V2-Flash, построенной на передовой архитектуре Mixture-of-Experts (MoE). Эта модель с 309 миллиардами общих параметров предназначена для высокоскоростной обработки запросов и эффективного выполнения задач в рамках рабочих процессов интеллектуальных агентов. Выпуск новой модели демонстрирует стремление Xiaomi укрепить свои позиции в области искусственного интеллекта. Базовая версия модели уже стала доступна для разработчиков на популярной платформе Hugging Face.
Особенности архитектуры и производительность
Ключевым элементом MiMo-V2-Flash является архитектура MoE, которая позволяет активировать только необходимую часть параметров модели для каждой конкретной задачи. В данном случае, из 309 миллиардов общих параметров активируются только 15 миллиардов, что значительно снижает вычислительные затраты и ускоряет инференс (процесс получения ответа от модели). Такой подход позволяет эффективно масштабировать модели до сотен миллиардов параметров, не увеличивая пропорционально стоимость их использования.
Для дальнейшего повышения производительности, разработчики применили несколько технологических решений. Одним из них стала архитектура смешанного внимания, которая чередует два типа внимания: скользящее оконное внимание и глобальное внимание в соотношении 5:1. Это позволяет сократить объем хранимого KV-кэша. Кроме того, в модель интегрирован модуль многотокеновой предикции, который, по заявлениям компании, ускоряет генерацию ответов в 3 раза. Модель также поддерживает внушительное контекстное окно размером до 256 тысяч токенов.
Результаты и доступность
Xiaomi сообщила, что MiMo-V2-Flash показала превосходные результаты в ходе тестирования на различных бенчмарках, включая SWE-Bench, который оценивает способности моделей в решении задач, связанных с программной инженерией. Высокая производительность в таких тестах указывает на значительный потенциал модели для применения в сложных и специализированных областях.
Компания следует современным трендам в области ИИ, делая свои разработки доступными для широкого круга исследователей и энтузиастов. Базовая версия MiMo-V2-Flash уже опубликована на платформе Hugging Face, что позволяет сообществу изучать ее возможности и интегрировать в собственные проекты.
Внедрение архитектуры Mixture-of-Experts и инновационных технологий оптимизации в MiMo-V2-Flash подчеркивает серьезные намерения Xiaomi в сфере разработки крупных языковых моделей. Выпуск эффективного и мощного инструмента для высокоскоростного инференса может стать важным шагом для компании на пути к созданию более сложных и полезных ИИ-агентов и приложений.