Инженеры компании Nvidia совместно с подразделением CentML продемонстрировали значительный прорыв в области оптимизации больших языковых моделей. Благодаря применению обновленных алгоритмов и специализированного программного обеспечения, специалистам удалось существенно увеличить скорость инференса нейросети Kimi K3, что открывает новые возможности для масштабирования высокопроизводительных вычислений в облачных сервисах.
Технические детали и аппаратное обеспечение
Согласно отчету аналитического агентства SemiAnalysis, оптимизация проводилась с использованием открытого фреймворка vLLM, который предназначен для эффективного обслуживания и развертывания LLM. В качестве аппаратной платформы применялись новейшие системы GB300 NVL72, объединяющие графические процессоры следующего поколения в единый вычислительный кластер.
В ходе тестов были достигнуты следующие показатели:
- Производительность достигла 423 токенов в секунду на одного пользователя.
- Скорость обработки данных увеличилась в 1,68 раза по сравнению с предыдущими конфигурациями.
- Модель Kimi K3 оперирует впечатляющим объемом параметров — 2,8 триллиона.
Для сравнения: такая пропускная способность позволяет обрабатывать огромные массивы текстовой информации практически в реальном времени, что критически важно для корпоративных систем искусственного интеллекта.
Перспективы развития и новые горизонты
Успех с Kimi K3 стал частью масштабной программы Nvidia по адаптации тяжелых нейросетевых архитектур под актуальное железо. Сообщается, что инженеры не планируют останавливаться на достигнутом и уже приступили к работе над оптимизацией других перспективных моделей. В частности, в фокусе внимания находится DeepSeek V4.1, чья архитектура требует особого подхода к распределению памяти и вычислительной мощности.
Ожидается, что подобные программно-аппаратные улучшения позволят снизить совокупную стоимость владения (TCO) инфраструктурой для разработчиков ИИ, делая использование моделей с триллионами параметров экономически более эффективным. Развитие экосистемы vLLM в связке с архитектурой Blackwell подтверждает лидерство Nvidia в сегменте ускорителей для глубокого обучения.