Развитие технологий искусственного интеллекта спровоцировало глобальный дефицит систем хранения данных, что поставило под угрозу деятельность крупнейших некоммерческих цифровых библиотек. Интернет-архив и Фонд Викимедиа столкнулись с беспрецедентным ростом цен на оборудование и логистическими сложностями, вызванными ажиотажным спросом со стороны операторов гипермасштабных центров обработки данных (ЦОД).
Дефицит жестких дисков и рост издержек
Стремительное обучение нейросетей требует колоссальных объемов памяти, из-за чего производственные мощности производителей накопителей оказались забронированы технологическими гигантами на долгое время вперед. В результате цены на жесткие диски большой емкости увеличились почти в три раза. Для таких организаций, как Интернет-архив, это создает критическую нагрузку на бюджет, так как проект ежедневно сохраняет около 100 ТБ информации.
- Текущий объем данных Интернет-архива: 210 ПБ;
- Целевой объем новых накопителей: 28–30 ТБ на одну единицу;
- Количество статей в Википедии: более 65 миллионов.
Ситуация усугубляется тем, что сокращение свободных складских запасов ведет не только к подорожанию, но и к существенному увеличению сроков поставки серверного оборудования.
Вызовы для цифровой инфраструктуры знаний
Фонд Викимедиа также сообщает о необходимости пересмотра финансовой стратегии. Рост стоимости затронул не только емкие HDD, но и модули оперативной памяти (RAM), необходимые для быстрой обработки запросов пользователей. В условиях ограниченного финансирования некоммерческим структурам становится всё сложнее конкурировать за ресурсы с коммерческими ИИ-стартапами.
Поддержание работы десятков миллионов статей требует тщательного распределения бюджета, при этом рост цен напрямую влияет на закупку комплектующих и сроки модернизации серверов.
Чтобы продолжать работу в прежнем темпе, Интернет-архив вынужден обращаться к сообществу за прямой помощью. Помимо традиционных финансовых сборов, организация рассматривает возможность получения пожертвований в виде физических жестких дисков оптимального объема.
Проблема нехватки накопителей подчеркивает обратную сторону бума искусственного интеллекта: пока технологии обработки данных прогрессируют, инфраструктура для их долгосрочного сохранения становится менее доступной. Дальнейшее развитие ситуации будет зависеть от способности производителей нарастить темпы выпуска продукции и готовности общества поддерживать независимые цифровые хранилища в условиях рыночной турбулентности.