Если коротко: нейросетевые ускорители выделяют столько тепла на единицу площади, что воздух перестал справляться с его отводом. Средняя стойка потребляет меньше 8 кВт, а стойка под новейшие ИИ-ускорители рассчитана на 120 кВт. Поэтому отрасль переходит на жидкость, которая подводится прямо к чипам, а охлаждение превратилось из вспомогательной статьи в ограничение, с которого начинают проектировать здание.
Меня зовут Кира Нейман, я рассказываю про нейросети по-человечески. Обычно говорят о моделях и данных, но у каждой модели есть физический слой: электричество превращается в вычисления и почти целиком в тепло. Разберёмся, откуда эта проблема и как её решают.
Куда уходит энергия
Любой процессор превращает потреблённую электроэнергию в тепло: работы в физическом смысле он не совершает, а переключает транзисторы. Чем больше вычислений на кубический сантиметр, тем больше тепла нужно убрать, иначе кристалл перегреется и снизит частоту или отключится.
Масштаб растёт. По оценке Международного энергетического агентства, спрос дата-центров на электроэнергию к 2030 году вырастет более чем вдвое, примерно до 945 ТВт·ч, что чуть больше нынешнего потребления всей Японии. Для центров, оптимизированных под ИИ, МЭА ожидает рост более чем вчетверо. Каждый киловатт-час, который попал внутрь, выходит наружу теплом, и его нужно куда-то деть.
Почему воздуха больше не хватает
Классический дата-центр охлаждается воздухом: холодный воздух подаётся в зал, проходит через серверы вентиляторами и выходит горячим. Это работает, пока стойка потребляет немного. По данным опроса Uptime Institute, средняя плотность стойки растёт, но остаётся ниже 8 кВт, а в большинстве площадок нет ни одной стойки выше 30 кВт.
Проблема в физике. Теплоёмкость воздуха на единицу объёма примерно в три с половиной тысячи раз меньше, чем у воды. Чтобы унести 100 кВт воздухом, нужны очень большие объёмы и скорости потока: вентиляторы тратят заметную долю энергии, шумят, а воздушные каналы упираются в размеры стойки. На какой-то плотности вентиляторы просто не успевают отвести тепло с горячей точки чипа, и воздушное охлаждение перестаёт работать, сколько ни добавляй кондиционеров.
Что изменила новая плотность
Теперь о том, что именно изменилось. Компания Nvidia вносит в Open Compute Project дизайн стойки GB200 NVL72 мощностью 120 кВт, как сообщает eeNews Europe. Стойка охлаждается жидкостью «прямо к чипу» с собственными коллекторами Nvidia. По оценке The Register, один вычислительный узел такой стойки выделяет около 5,4–5,7 кВт.
Отдельная проблема — электрическая часть. Стойка рассчитана на ток 1400 А. Это означает толстые шины, мощные блоки питания и высокие требования к вводу в здание. Охлаждение и питание здесь неразделимы: всё, что подвели по проводам, нужно отвести по трубам.
Сравните: средняя стойка ниже 8 кВт, а здесь одна стойка выделяет в пятнадцать раз больше. В обычный зал такую не поставить без переделки: нужны трубопроводы, насосы, теплообменники и усиленные конструкции.
Как работает жидкостное охлаждение
Принцип прост. Холодная жидкость идёт по трубкам к «холодным пластинам», плотно прижатым к процессорам и графическим ускорителям. Она забирает тепло у самого кристалла, нагревается и уходит к теплообменнику, где отдаёт тепло во внешний контур, а уже оттуда на улицу.
По описанию The Register (со ссылкой на слова Дженсена Хуанга), охлаждающая жидкость входит в стойку при 25 °C с расходом около двух литров в секунду и выходит примерно на 20 градусов теплее. Проверим порядок величины: два килограмма воды в секунду, теплоёмкость около 4,2 кДж/(кг·К), нагрев на 20 К дают около 170 кВт отводимой мощности. Это больше 120 кВт стойки, то есть цифры сходятся с запасом.
Важная деталь: жидкостью охлаждаются вычислительные узлы и коммутаторы NVLink, а маломощные компоненты вроде сетевых карт и накопителей по-прежнему обдуваются обычными вентиляторами. Поэтому в ИИ-зале не исчезает воздух вовсе, его доля просто сильно падает.
Что это значит для дата-центров и энергосистем
Во-первых, перестраивается проектирование. Раньше здание строили под зал и воздуховоды, теперь под трубы, насосы и мощные вводы электричества: упомянутая стойка рассчитана на ток 1400 А.
Во-вторых, меняется показатель эффективности PUE, то есть отношение всей потреблённой энергии к энергии, дошедшей до вычислений. Uptime отмечает, что средний PUE в отрасли пять лет подряд почти не меняется, хотя в новых больших площадках он лучше. Жидкостное охлаждение может помочь, потому что вентиляторов становится меньше, но вместе с ним растёт абсолютное потребление всей площадки.
В-третьих, это вопрос не только инженеров, но и сетей. Когда спрос растёт так, как описывает МЭА, дата-центры упираются не в стойки, а в подключение к энергосистеме и в возможность отвести тепло рядом с городом.
Почему нельзя просто расставить стойки пореже
Логичный вопрос: если стойка слишком горячая, почему не раздвинуть оборудование по залу? Ответ в том, что ускорители ИИ должны быть рядом друг с другом. Название GB200 NVL72 как раз говорит об этом: 72 ускорителя связаны быстрой шиной NVLink и работают как один большой вычислитель. Чем короче расстояния между ними, тем меньше задержки и потери, поэтому разработчики стремятся уплотнить, а не растянуть. Плотность вычислений и плотность тепла растут вместе, и охлаждение подстраивается под них, а не наоборот.
Как читать новости про дата-центры
Когда в новости говорят про «новый ИИ-кампус», полезно смотреть на три числа. Первое: мощность в мегаваттах, она показывает, сколько электричества и, значит, тепла придётся обработать. Второе: плотность стойки в киловаттах: если она ближе к 8 кВт, перед вами обычный зал, если к 100 и выше, то жидкостное охлаждение обязательно. Третье: PUE, отношение всей энергии площадки к энергии, дошедшей до серверов. Значение 1,0 было бы идеалом без потерь на охлаждение и питание, а чем оно выше, тем больше энергии уходит «не на вычисления».
Что с водой и экологией
Тепло в итоге уходит либо в воздух через сухие градирни, либо через испарение воды. Второй вариант эффективнее, но расходует воду. Я не привожу цифры расхода: оценки сильно зависят от климата, технологии и методики подсчёта, а проверить их по первоисточнику у меня не получилось. Важно другое: при тёплой жидкости на выходе, около 45 °C, это тепло можно использовать, а не просто выбрасывать, хотя это уже тема отдельного разговора.
Коротко
- Весь потреблённый ускорителем ток превращается в тепло, и ИИ-нагрузка резко повышает плотность этого тепла.
- Средняя стойка потребляет меньше 8 кВт, а стойка GB200 NVL72 рассчитана на 120 кВт; воздух с такой плотностью не справляется.
- Решение: жидкостное охлаждение «к чипу», при котором вода забирает тепло у кристалла, а вентиляторы остаются только для маломощных деталей.
- Охлаждение теперь определяет, где и как строить дата-центры, вместе с доступом к электричеству.
Пока нет комментариев