Благодаря стремительному развитию контента, генерируемого искусственным интеллектом (AIGC), спрос на вычислительную мощность резко возрос, что привело к быстрому росту энергопотребления и требований к терморегулированию в центрах обработки данных. Высокие требования к вычислительным ресурсам во время обучения и вывода моделей искусственного интеллекта привели к значительному увеличению выделения тепла сервером, что предъявляет более высокие требования к технологии рассеивания тепла. Согласно данным, опубликованным Colocation America, средняя мощность одного шкафа в глобальных центрах обработки данных достигла 16,5 к Вт в 2020 году, что на 175% больше, чем в 2008 году. Таким образом, технология жидкостного охлаждения стала новой горячей точкой в ​​технологии охлаждения центров обработки данных.

На конференции GTC в этом году компания NVIDIA не только продемонстрировала чипы B200 и GB200, но и сосредоточилась на поддерживающей их технологии жидкостного охлаждения. В то же время на экономическом саммите SIEPR 2024 года генеральный директор NVIDIA Дженсен Хуанг сообщил, что сервер следующего поколения графического процессора DGX будет полностью использовать жидкостное охлаждение. Выбор NVIDIA также стал эталоном в отрасли, придав новый импульс развитию технологий жидкостного охлаждения.

С постоянным развитием технологий искусственного интеллекта важность технологии жидкостного охлаждения становится все более заметной. Технология жидкостного охлаждения позволяет не только эффективно снизить энергопотребление центров обработки данных, но и повысить эффективность работы серверов и продлить срок службы оборудования. Таким образом, технология жидкостного охлаждения постепенно становится предпочтительным выбором для решений по охлаждению центров обработки данных.

Сравнение методов охлаждения дата-центров

В настоящее время существует два основных метода охлаждения инфраструктуры центров обработки данных: воздушное охлаждение и жидкостное охлаждение. Технология жидкостного охлаждения представляет собой метод охлаждения, при котором в качестве охлаждающей среды используется жидкость вместо воздуха для обмена тепла с нагревательными компонентами сервера и отвода тепла, выделяемого компонентами сервера, чтобы гарантировать работу сервера в безопасном температурном диапазоне. Технология воздушного охлаждения основана на использовании вентиляторов и систем кондиционирования воздуха для отвода тепла за счет движения воздуха. Технология жидкостного охлаждения напрямую охлаждает нагревательные устройства через жидкость. Теплопроводность жидкости в 25 раз выше, чем у воздуха. Объемная теплоемкость жидкости в 1000–3500 раз выше, чем у воздуха. Коэффициент конвекционной теплопередачи жидкости в 10–40 раз. при тех же обстоятельствах охлаждающая способность жидкостного охлаждения намного выше, чем у воздуха.

центр обработки данных Схема тепловой архитектуры

центр обработки данныхжидкостное охлаждениеVSвоздушное охлаждение

По сравнению с технологией воздушного охлаждения технология жидкостного охлаждения обеспечивает более высокую эффективность охлаждения и более низкое энергопотребление. В вычислительных средах с высокой плотностью размещения системы воздушного охлаждения часто не могут удовлетворить потребности в отводе тепла, и технология жидкостного охлаждения может эффективно решить эту проблему. Кроме того, технология жидкостного охлаждения также имеет такие преимущества, как низкий уровень шума и небольшая занимаемая площадь, что очень подходит для размещения с высокой плотностью размещения и экологически чистых энергосбережений в современных центрах обработки данных.

Каковы движущие силы развития жидкостного охлаждения в эпоху искусственного интеллекта?

①Тепловая мощность вычислительных чипов продолжает расти, а одноточечное рассеивание тепла с воздушным охлаждением достигло своего предела.

С быстрым развитием технологий искусственного интеллекта спрос на вычислительную мощность продолжает расти, а также увеличиваются теплотворная способность чипов и плотность теплового потока. Когда чип работает при высокой температуре в течение длительного времени, это повлияет на его производительность и срок службы, а частота отказов увеличится. Исследования показывают, что когда рабочая температура чипа близка к 70-80°C, производительность чипа снижается примерно на 50% на каждые 10°C повышения температуры. В настоящее время TDP многих процессоров Intel достиг 350 Вт, NVIDIA H100 — 700 Вт, а B100 может достичь 1000 Вт в будущем, что приближается к пределу одноточечного тепловыделения с воздушным охлаждением в 800 Вт. Энергопотребление вычислительных чипов может продолжать расти в будущем, а общее энергопотребление процессоров и графических процессоров составляет около 80% от общего энергопотребления серверов искусственного интеллекта. Продолжение использования воздушного охлаждения приведет к резкому увеличению энергопотребления. спрос на кондиционеры между рядами и высокую плотность размещения. В сценариях рассеивания тепла решения для жидкостного охлаждения имеют значительные преимущества по стоимости и производительности.

В дополнение к чипам, со стороны шкафов, плотность мощности отдельных шкафов в центрах обработки данных также продолжает увеличиваться. Традиционная технология воздушного охлаждения обычно может удовлетворить экстремальные потребности в охлаждении шкафов в пределах 12–15 к Вт. Согласно «Отчету о глобальном исследовании центров обработки данных за 2022 год», опубликованному Uptime Institute, максимальная мощность одного сервера Nvidia DGX A100 составляет 6,5 к Вт. стандартная высота 42U. В шкафу можно разместить примерно пять AI-серверов высотой 5U, а общая мощность одного шкафа превышает 20 к Вт. Традиционное воздушное охлаждение далеко не отвечает потребностям охлаждения серверных шкафов AI.

② В связи с потребностями центров обработки данных в энергосбережении, более высокими требованиями PUE

PUE (эффективность использования энергии) — это основной показатель для оценки энергоэффективности центров обработки данных. Формула расчета: PUE = общее энергопотребление центра обработки данных/потребление энергии ИТ-оборудованием. Чем ближе значение к 1, тем выше энергоэффективность. ЦОД. Чем выше значение PUE, тем ниже общая эффективность центра.

Энергопотребление дата-центров в основном состоит из ИТ-оборудования (45 %), холодильного оборудования (43 %), систем электроснабжения и распределения (10 %), освещения и т. д. (2 %). На систему кондиционирования приходится наибольшая доля энергопотребления центра обработки данных после ИТ-оборудования. Когда невозможно модернизировать ИТ-систему, важным шагом является снижение энергопотребления системы кондиционирования. Под руководством политики «двойного углерода» и «количества на востоке и подсчета на западе» в Китае мы можем видеть из требований к уведомлению «Стандартов спроса на государственные закупки (испытательных) для зеленых центров обработки данных», недавно выпущенных соответствующими органами. Национальные ведомства утверждают, что требования к PUE становятся все выше и выше, поэтому покупателям необходимо приобретать оборудование, связанное с центром обработки данных, а также услуги по эксплуатации и техническому обслуживанию. С июня 2023 года PUE центра обработки данных не будет выше 1,4, а с 2025 года - PUE. PUE дата-центра не будет выше 1,3. По данным CDCC и Inspur, PUE решений для центров обработки данных с воздушным охлаждением обычно составляет около 1,4-1,5, тогда как PUE для центров обработки данных с жидкостным охлаждением может быть снижен до менее 1,2 за счет внедрения более энергосберегающих и эффективных жидкостных систем. Технология охлаждения является общей тенденцией.

Энергопотребление центров обработки данных всегда было в центре внимания отрасли. Особенно в контексте глобальных ограничений энергетических ресурсов и растущей осведомленности об окружающей среде особенно важно повысить энергоэффективность центров обработки данных. Технология жидкостного охлаждения снижает энергопотребление системы кондиционирования за счет более эффективного рассеивания тепла, тем самым значительно снижая значение PUE центра обработки данных. Это не только помогает снизить эксплуатационные расходы, но также снижает выбросы углекислого газа и отвечает требованиям устойчивого развития.

типичныйцентр обработки данных Коэффициент энергопотребления

Классификация технологий жидкостного охлаждения

Системы жидкостного охлаждения делятся на прямое жидкостное охлаждение и непрямое жидкостное охлаждение, основанное на прямом контакте между жидкостью и оборудованием. Прямое жидкостное охлаждение означает, что жидкость находится в прямом контакте с компонентами оборудования, которые необходимо охладить для достижения цели. Охлаждение также можно разделить на погружное и распылительное; непрямое жидкостное охлаждение означает, что жидкость не вступает в прямой контакт с оборудованием для достижения охлаждения. Наиболее распространенным типом жидкостного охлаждения является жидкостное охлаждение с холодной пластиной. Его можно разделить на две категории в зависимости от того, подвергается ли охлаждающая среда однофазному типу холодной пластины и двухфазному типу охлаждающей пластины.

Классификация технологий жидкостного охлаждения

①От холодной пластины к погружному типу

Жидкостное охлаждение с холодной пластиной передает тепло от нагревательного устройства охлаждающей жидкости через холодную пластину и отводит образующееся тепло за счет охлаждающих свойств самой охлаждающей жидкости. Рабочая жидкость не вступает в прямой контакт с электронными устройствами. Эта технология требует небольших изменений в компьютерной системе. Вам нужно только заменить оригинальный радиатор с воздушным охлаждением на комплект отвода тепла с жидкостным охлаждением и вывести трубопровод хладагента из него. шасси. Подходит для охлаждения средней и высокой плотности теплового потока.

Система жидкостного охлаждения с охлаждающей пластиной в основном состоит из градирен.、Блок распределения охлаждения (CDU)、первичная сторона&вторичная сторонажидкостное трубопровод охлаждения, охлаждающая среда, жидкостное композиция охлаждающего шкафа. Первичная сторона относится к контуру, который отводит тепло от вторичной стороны во внешнюю среду или к другим устройствам рекуперации тепла; вторичная сторона относится к контуру, который отводит тепло от сервера и рассеивает его на первичной стороне. между двумя частями охлаждающий распределительный блок для теплообмена.

Принцип работы системы жидкостного охлаждения с охлаждающей пластиной относительно прост, но при практическом применении необходимо учитывать такие вопросы, как конструкция охлаждающей пластины, выбор охлаждающей жидкости и обслуживание системы. Кроме того, системы жидкостного охлаждения с холодной пластиной хорошо работают в средах с высокой плотностью теплового потока, что делает их идеальными для нужд современных центров обработки данных с высокой плотностью размещения.

Принцип работы системы жидкостного охлаждения с холодной пластиной

Системы погружного жидкостного охлаждения обеспечивают эффективное рассеивание тепла за счет непосредственного погружения теплогенерирующих устройств в непроводящую охлаждающую жидкость. В зависимости от того, претерпевает ли охлаждающая жидкость фазовое изменение в процессе циркуляционного отвода тепла, ее можно разделить на однофазное погружное жидкостное охлаждение и двухфазное погружное жидкостное охлаждение.

Технология однофазного погружного жидкостного охлаждения изменяет температуру охлаждающей жидкости во время процесса обмена без фазового перехода. Этот процесс полностью основан на явном изменении тепла материала для передачи тепла, то есть плотность объемного расширения жидкости снижается после ее охлаждения. нагрев и более горячее охлаждение. Жидкость будет всплывать естественным путем и охлаждаться теплообменником внешнего контура охлаждения. Охлажденная жидкость естественным образом опустится под действием силы тяжести, чтобы завершить цикл отвода тепла. Это один из способов, благодаря которому хладагент всегда остается в жидком состоянии во время процесса отвода тепла. В процессе отвода тепла при двухфазном погружном жидкостном охлаждении хладагент претерпевает процесс фазового перехода из жидкого в газообразное, а затем из газообразного в газообразное. жидкость.

Система погружного жидкостного охлаждения включает внутреннюю сторону и наружную сторону. Наружная сторона включает в себя градирню, трубопроводную сеть первичной стороны, а внутренняя сторона включает в себя блок распределения охлаждения (CDU), погружную полость (шкаф с резервуаром). , ИТ-оборудование, Сеть трубопроводов вторичной стороны и охлаждающая жидкость вторичной стороны. Во время использования ИТ-оборудование полностью погружается в охлаждающую жидкость, поэтому при выборе охлаждения необходимо учитывать непроводящие жидкости, такие как силиконовое масло, фторированные жидкости и т. д.

погруженныйжидкостное Принцип работы системы охлаждения

Кроме того, существует также распыляющее жидкостное охлаждение, которое на данном этапе имеет мало практического применения и не подходит для серверов с высокой плотностью размещения и крупных центров обработки данных. В краткосрочной перспективе жидкостное охлаждение с холодной пластиной очень подходит для нужд рассеивания тепла в эпоху искусственного интеллекта и на переходном этапе центров обработки данных от воздушного охлаждения к жидкостному охлаждению благодаря своей отработанной технологии, хорошей совместимости с существующими системами, простоте обслуживания. и низкие затраты на трансформацию. В долгосрочной перспективе иммерсионное жидкостное охлаждение с его хорошей теплопроводностью, эффективными возможностями рекуперации отходящего тепла и поддержкой более высокой мощности шкафов будет более подходящим для развития будущих потребностей в охлаждении центров обработки данных, особенно с учетом того, что мощность шкафных устройств продолжает расти. Погружное жидкостное охлаждение может обеспечить более эффективное решение для охлаждения и помочь снизить общую эффективность использования энергии (PUE) в центре обработки данных.

②Лучший выбор для интеллектуальных вычислительных центров – жидкостное охлаждение.

По мере увеличения удельной мощности решения для жидкостного охлаждения становятся альтернативой для новых вычислительных центров с графическими процессорами. Согласно отчету «Отслеживание полугодового рынка серверов с жидкостным охлаждением в Китае (первая половина 2023 года), опубликованному IDC, размер китайского рынка серверов с жидкостным охлаждением достигнет 1,51 миллиарда долларов США в 2023 году. IDC прогнозирует, что совокупный годовой темп роста китайского рынка серверов с жидкостным охлаждением составит 54,7% в период с 2022 по 2027 год, а размер рынка достигнет 8,9 миллиардов долларов США в 2027 году.

Применение технологии жидкостного охлаждения в интеллектуальных вычислительных центрах не только повышает производительность вычислений, но и значительно снижает энергопотребление и эксплуатационные расходы. Продвижение технологии жидкостного охлаждения будет способствовать развитию центров обработки данных в более эффективном, экологичном и интеллектуальном направлении, обеспечивая прочную основу для потребностей обработки данных в эпоху искусственного интеллекта.

размер рынка серверов жидкостного охлаждения

Промышленная цепочка жидкостного охлаждения

Промышленная цепочка жидкостного ноль Включая поставщики запчастей и компонентов вверх по течению, Midstream поставщик охлаждающего сервера, нижестоящий пользователь вычислительной мощности. В настоящее время последующие пользователи, отечественные пользователи Alibaba, используют однофазное погружное жидкостное охлаждение является основным направлением развития, а другие интернет-компании, такие как Baidu, Tencent, JD.com и другие интернет-компании, являются более холодными жидкостными. охлаждение в основном приложений. Разработка иммерсивных технологий для зарубежных пользователей лучше, чем разработка технологии холодных пластин. Крупнейшие интернет-компании, такие как Intel, Google и Meta, под руководством американских компаний продвигают иммерсивные технологии при поддержке искусственного интеллекта. Быстрое развитие охлаждения.

Промышленная цепочка жидкостного охлаждения

Проблемы, с которыми может столкнуться технология погружного жидкостного охлаждения

Выбор охлаждающей жидкости

Охлаждающая жидкость является одним из ключевых сырьевых материалов для технологии жидкостного охлаждения и имеет высокие технические барьеры. В технологии погружного жидкостного охлаждения охлаждающая жидкость должна находиться в прямом контакте с электронными продуктами, поэтому к ее характеристикам предъявляются высокие требования. Она должна иметь отличную теплопроводность, хорошую изоляцию, совместимость материалов и т. д. Кроме того, для. запах. Существуют также определенные требования к экологическим характеристикам, таким как токсичность, сложность разложения и т. д. Он должен быть максимально простым в эксплуатации и экологически чистым. В настоящее время наиболее широко используемыми погружными охлаждающими жидкостями являются в основном углеводороды и силиконы (широко известные как «масла», такие как минеральное масло и т. д.) и фторуглероды (например, фторированные жидкости и т. д.). Фторированная жидкость имеет лучшие комплексные свойства и является идеальным жидкостным охлаждающим материалом. Однако в настоящее время проблемой фторированной жидкости является ее высокая стоимость. Учитывая все более строгие требования по защите окружающей среды, силиконовое масло имеет более высокую теплопроводность и меньшую плотность, а также более экологично. Разница в выборе охлаждающей среды обусловлена ​​главным образом разницей в процессе охлаждения.

Проблема с уплотнением оптического пути

Охлаждающая жидкость, такая как фторированная жидкость или силиконовое масло, имеет хорошую изоляцию и может эффективно предотвращать короткие замыкания в цепи. В условиях низкочастотного сигнала влияние теплоносителя на сигнал практически незначительно. Однако в случае высокочастотных сигналов влияние охлаждающей жидкости на передачу сигнала необходимо тщательно оценивать и контролировать. Но в целом воздействие на схему контролируемо.

Что касается оптического пути, то большинство оптических модулей в дата-центре имеют «негерметичную» конструкцию упаковки, а это означает, что если не будут сделаны соответствующие улучшения, охлаждающая жидкость может попасть в оптическую полость и повлиять на оптические характеристики. Даже если оптический модуль герметично упакован, за пределами герметичной полости все еще остаются пассивные оптические пути, такие как линзы и другие оптические компоненты.

Конструкция оптического пути обычно основывается на показателе преломления воздуха (около 1,0). Когда оптический элемент погружен в охлаждающую жидкость, показатель преломления охлаждающей жидкости отличается от показателя преломления воздуха, что приводит к возникновению помех. фокус и эффективность связи света изменяются. Например, показатель преломления фторсодержащего масла обычно составляет около 1,3. Это изменение показателя преломления приведет к корректировке параметров конструкции оптического пути.

Чтобы справиться с потенциальным воздействием иммерсионного жидкостного охлаждения на оптические схемы и схемы, отрасль принимает различные меры. Например, разработка новой технологии упаковки оптических модулей, адаптированной к среде охлаждающей жидкости, оптимизация конструкции схемы для высокочастотных сигналов и исследование оптических материалов и структур, более подходящих для иммерсионного охлаждения.

Интегрированная доставка или отдельная доставка

В настоящее время существует три режима поставки серверов с жидкостным охлаждением с холодными пластинами: ① со стороны ИТ-оборудования поставляются только серверы с жидкостным охлаждением; ② со стороны ИТ поставляются «серверы с жидкостным охлаждением»; Серверы с жидкостным охлаждением + шкафы с жидкостным охлаждением + CDU + вторичные боковые трубы доставляются по ИТ-стороне». Третья модель поставки, которая широко используется в настоящее время, — это комплексная поставка. Весь шкаф поставляется одним и тем же производителем и спроектирован и разработан комплексно в соответствии с индивидуальными стандартами производителя. Разделенная поставка означает, что шкаф с жидкостным охлаждением и сервер с жидкостным охлаждением соответствуют спецификациям конструкции интерфейса, единообразно сформулированным пользователем. Шкаф и сервер разделены и поставляются разными производителями. Производителям инфраструктуры и серверов необходимо координировать свои действия и сотрудничать. Отдельная доставка облегчает широкомасштабное продвижение и гибкое развертывание.

Холодная пластина с жидкостным охлаждением, модель поставки сервера

В настоящее время отечественная технология жидкостного охлаждения имеет низкую степень планирования. Серверное оборудование, охлаждающая жидкость, холодильные трубопроводы, системы электропитания и распределения и другие продукты каждой компании имеют разные формы. Единого стандарта интерфейса не существует, и возникает проблема сложности. стандартизация и широкомасштабное продвижение и применение. Три крупнейших отечественных оператора опубликовали официальный документ по технологии жидкостного охлаждения и предложили трехлетнюю концепцию жидкостного охлаждения. Они будут постепенно проводить проверку и эксперименты по технологии жидкостного охлаждения. Ожидается, что он будет использоваться более чем в 50% проектов по обработке данных. Содействовать унификации и масштабированию стандартов, а также способствовать раздельной доставке жидкостного охлаждения.

HYC может предоставить индивидуальные решения для межсоединения с жидкостной люминесценцией.

Основываясь на более чем 20-летнем опыте накопления ключевых технологий оптических межсоединений, HYC обладает возможностями высокоточного механического проектирования, проектирования пресс-форм, литья под давлением и прецизионного производства, а также платформ оптического проектирования, моделирования и других технологических платформ и может сотрудничать с клиентами для выполнить серию приложений в центре обработки данных жидкостного охлаждения для обслуживания систем проводки ODM/JDM.