Компания DeepSeek, занимающаяся исследованиями в области искусственного интеллекта, представила новую архитектуру mHC (Manifold-Constrained Hyper-Connections). Это решение направлено на устранение критической проблемы нестабильности при обучении масштабных нейронных сетей, сохраняя при этом высокую производительность, свойственную гиперсвязным моделям. Техническая документация была опубликована на arXiv 31 декабря 2025 года и представлена на Hugging Face Papers 1 января 2026 года.
Проблема гиперсвязей и решение от DeepSeek
Архитектуры с гиперсвязями (Hyper-Connections, HC) ранее демонстрировали значительный прирост производительности за счет расширения потока остаточных связей и диверсификации схем соединений. Однако такой подход нарушал свойство "identity mapping" (тождественное отображение), которое является ключевым для стабильной тренировки глубоких нейронных сетей. Это приводило к серьезным проблемам: всплескам потерь, "взрывающимся" градиентам и, как следствие, к ограничению масштабируемости моделей.
Предложенная архитектура mHC решает эту проблему, проецируя пространство остаточных связей на специальное многообразие (manifold), что позволяет восстановить свойство тождественного отображения. Говоря проще, mHC заставляет смешивание информационных потоков внутри нейросети оставаться математически "благовоспитанным", предотвращая хаотичное затухание или взрывной рост сигналов при прохождении через множество слоев. Этот подход, подкрепленный серьезной инфраструктурной оптимизацией, обеспечивает стабильность обучения даже очень больших моделей.
Результаты и перспективы
Эмпирические эксперименты, проведенные DeepSeek, показали, что mHC не только обеспечивает стабильное обучение в больших масштабах, но и приводит к ощутимым улучшениям в производительности. Например, для 27-миллиардной модели было зафиксировано улучшение на 2.1% в бенчмарке BBH. При этом дополнительные затраты времени на обучение составили всего около 6.7% благодаря оптимизации на уровне систем, включая использование слитых ядер и распараллеливание вычислений.
В DeepSeek ожидают, что mHC станет гибким и практичным расширением для существующих гиперсвязных архитектур. Этот прорыв может способствовать более глубокому пониманию топологического дизайна нейросетей и указать перспективные направления для эволюции фундаментальных моделей искусственного интеллекта. Если результаты подтвердятся в более широких исследованиях, это архитектурное усовершенствование может позволить создавать заметно более мощные ИИ-модели без необходимости простого наращивания вычислительных мощностей.
В заключение, представление архитектуры mHC является важным шагом на пути к созданию более стабильных, масштабируемых и производительных больших языковых моделей. Решение фундаментальной проблемы нестабильности открывает новые горизонты для разработчиков ИИ и может ускорить появление следующего поколения нейросетевых технологий.