Китайская технологическая компания Meituan официально объявила об открытии доступа к своей новой языковой модели LongCat-2.0. Этот амбициозный проект представляет собой масштабную нейросеть с беспрецедентным числом параметров, разработанную с учетом специфики современной аппаратной инфраструктуры. Выпуск модели знаменует собой важный этап в развитии открытых технологий искусственного интеллекта, предлагая разработчикам мощный инструмент для решения сложных вычислительных задач.
Архитектура и технические инновации
Модель LongCat-2.0 базируется на архитектуре с 1,6 триллиона параметров, что ставит её в один ряд с крупнейшими мировыми разработками в области ИИ. Несмотря на колоссальный общий объем, средняя активация при выполнении задач составляет около 48 миллиардов параметров. Это достигается благодаря использованию передовых технологических решений:
- Применение механизма разреженного внимания LongCat, оптимизирующего работу с длинными контекстами.
- Использование технологии N-gram Embedding для улучшения обработки текстовых данных.
- Оптимизация под ограничения пропускной способности и объема видеопамяти, характерные для современных чипов.
Разреженное внимание позволяет модели эффективно обрабатывать информацию, не перегружая вычислительные узлы избыточными операциями.
Оптимизация под отечественные вычислительные ресурсы
Ключевой особенностью LongCat-2.0 является её полная адаптация к локальной аппаратной базе. Meituan заявляет, что это первая в отрасли модель триллионного масштаба, инференс которой был успешно реализован на кластере мощностью 50 000 ускорителей отечественного производства. Инженеры компании проделали значительную работу по настройке алгоритмов, чтобы компенсировать аппаратные лимиты и обеспечить высокую стабильность работы системы под нагрузкой.
Доступность и форматы данных
Для удобства интеграции и использования в различных сценариях, Meituan опубликовала модель в нескольких вариантах точности. В открытый доступ выложены версии:
- BF16 — для задач, требующих высокой точности вычислений.
- FP8 и INT8 — оптимизированные квантованные версии для снижения потребления ресурсов при сохранении эффективности.
В состав публикации также включен оптимизированный программный код для настройки инференса на специфических вычислительных архитектурах.
Релиз LongCat-2.0 открывает новые перспективы для создания высокопроизводительных ИИ-сервисов, независимых от зарубежных закрытых экосистем. Предоставление открытого доступа к модели такого масштаба может значительно ускорить исследования в области глубокого обучения и способствовать формированию более устойчивой и независимой технологической среды.