Китайская технологическая компания MiniMax объявила об открытии исходного кода и весов своей новой языковой модели M3.1 Flash. Релиз знаменует собой важный этап в развитии систем с архитектурой Mixture-of-Experts (MoE), предлагая высокую производительность при оптимизированных затратах на вычислительные ресурсы. Открытый доступ к весам модели позволит разработчикам интегрировать передовые алгоритмы машинного обучения в собственные проекты, способствуя росту экосистемы открытого ИИ.
Технические характеристики и архитектурные инновации
Модель M3.1 Flash базируется на гибридной структуре, где общее число параметров составляет 428 миллиардов, однако благодаря механизму активации экспертов, в процессе инференса задействуется лишь 23 миллиарда активных параметров. Это позволяет достичь баланса между глубиной знаний нейросети и скоростью генерации ответов. Для повышения эффективности инференса инженеры MiniMax реализовали три ключевые оптимизации:
- Внедрение разреженного внимания (Sparse Attention) вместо полного внимания в первых трех слоях модели, что снижает вычислительную нагрузку.
- Квантование маршрутизируемых экспертов MoE до точности W4A4 (за исключением общих экспертов), что значительно сокращает объем занимаемой памяти.
- Миграция индексатора разреженного внимания и основной ветви с формата Q8KV8 на Q8KV4 для ускорения передачи данных.
Помимо программных улучшений, разработчики применили Power-aware scheduling — систему адаптивного распределения энергопотребления между вычислительными картами, что критически важно для масштабных дата-центров.
Результаты внедрения и рыночный охват
Эффективность новой архитектуры подтверждается статистикой эксплуатации. Согласно официальным данным MiniMax Xiyu Technology, всего за 72 часа с момента запуска модели реальные пользователи обработали более 100 триллионов токенов. Столь высокие показатели свидетельствуют о востребованности решения и его способности справляться с колоссальными нагрузками в условиях промышленной эксплуатации.
MiniMax продолжает следовать стратегии открытости, предоставляя сообществу инструменты для масштабируемого и энергоэффективного глубокого обучения.
Выход M3.1 Flash в open-source сегмент усиливает конкуренцию среди разработчиков больших языковых моделей (LLM). Учитывая сочетание огромного объема параметров и инновационных методов сжатия данных, данная модель может стать новым стандартом для компаний, стремящихся к созданию производительных ИИ-сервисов без избыточных затрат на аппаратное обеспечение. Перспективы развития линейки MiniMax указывают на дальнейший тренд по оптимизации потребления ресурсов при сохранении высокого качества генерации.