NVIDIA представила чип GB200 и вспомогательную архитектуру на конференции GTC 2024, которая способствует повышению производительности вычислений на базе искусственного интеллекта и повышению энергоэффективности центров обработки данных за счет увеличения пропускной способности межсоединения графических процессоров, внедрения высокопроизводительных оптических модулей и переключателей, а также внедрения технологии жидкостного охлаждения. --Примечание к общедоступному аккаунту Коммуникационной энциклопедии!

На конференции NVIDIA GTC 2024,Автор: Дженсен Хуан“Станьте свидетелем преобразующего момента ИИ»речь,И запустил чип GB200 и связанные с ним архитектуры.,значительно улучшивGPUпропускная способность соединения междуОптический модуль 1,6 Тл。в то же время Выпущена первая в мире партия сквозных800Gпропускная способностьInfiniBandиEthernetвыключатель,и принятьтехнология жидкостного охлаждениясерверные решения,Продвижение инноваций в сфере ИИ-вычислений во всех аспектах обработки данные Повышение энергоэффективности.

1 высокоскоростной оптический модуль

На конференции GTC компания NVIDIA представила новое поколение чипов GB200, и отрасль уделяет пристальное внимание тому, как этот чип изменит структуру спроса на рынке оптических модулей.

В конце мая прошлого года COMPUTEX На выставке NVIDIA раскрыла свою GH200 чип。Оцененный,В кластерной конфигурации построен на базе 256зерноGH200.,Необходимое количество оптических модулей 800G — до 2304 шт.,средний зазерночип Доля оснащенных оптическими модулями достигла беспрецедентного уровня.1:9。

GB200, представленный на этой конференции, также соответствует этой концепции дизайна.,Согласно раскрытию Хуан Жэньсюня в его речи,Пропускная способность двунаправленной связи между отдельными графическими процессорами выросла с прежних 900 ГБ/с до 1800 ГБ/с. И в конфигурации кластера,В стандартный шкаф можно установить до 72 графических процессоров Blackwell.,Благодаря новому поколению технологии коммутации NVLink5,Можно соединить до 576 графических процессоров через коммутатор InfiniBand или Ethernet;,Масштаб можно расширить до десятков тысяч узлов графического процессора.

Это решение сконфигурировано в одной стойке. 36 зерно GRACE CPU и 72 зерно Blackwell GPU,Решение через медный кабельэто будет 72 зерно Blackwell GPU взаимосвязь, которая связана с GH200 Решение аналогичное, то есть сеть первого уровня не требует соединения оптических модулей.

Как было показано в программной речи Хуан Ренсюня, в конфигурации с одним шкафом GB200 благодаря новому поколению NVLink Благодаря поддержке Switch Chip GB200 может собрать индивидуальный процессор Blackwell с 576 зернами. GPUсоставилвычислитькластер,Значительно превышает максимальный размер 256зерноGPUкластера, поддерживаемый предыдущим поколением GH200.。

Что касается пропускной способности интернета,Каждый зерно графического процессора Blackwell в кластере может достигать высокоскоростной передачи 1800 ГБ/с в обоих направлениях.,По сравнению с GH200,Пропускная способность увеличена вдвое,Это также означает, что соответствующий оптический модуль должен иметь двойную полосу пропускания.,Так родился Оптический модуль 1,6 Тл потребности.

Ниже мы делаем оценку на основе приведенной выше логики:

• На уровне доступа к чипу: один чип GB200 имеет пропускную способность двунаправленного внешнего интерфейса 1800 ГБ/с.,В одну сторону — 900 ГБ/с.,поэтому,все576зерночипОбщий объем предоставленной пропускной способности доступа составляет576умножить на900GB/s,Итого — 518,4 ТБ/с.
• Между уровнем чипа и уровнем L1: они напрямую соединены медными кабелями, поэтому в этой ссылке нет необходимости в оптических модулях.
• В процессе соединения между уровнями L1 и L2: общий трафик, генерируемый 576зерночипом, составляет 518,4 ТБ/с.,Учитывая, что одиночный индивидуальный Оптический модуль 1,6 Тл имеет пропускную способность в одну сторону 200ГБ/с.,Затем для завершения передачи данных,Теоретически необходимо настроить 518,4 ТБ/с, разделенную на 200 ГБ/с.,То есть всего 2592 индивидуальных оптических модуля.,Это означает, что для восходящей линии связи уровня L1 и нисходящей линии связи уровня L2 требуется по 2592 индивидуальных оптических модуля.,Общее количество необходимого оборудования5184 оптических модуля。

На основе этого расчета можно сделать вывод, что между чипом GB200 и оптическим модулем 1,6Т их идеальное соотношение использования также составляет 576:5184=1:9, то есть соотношение количества отдельных чипов к оптическому модулю. составляет 1:9.

2 коммутатора Ethernet

NVIDIAПредставленоQuantum-X800 InfiniBandрядиSpectrum-X800Ethernetвыключательпродукт,Стать первым сетевым решением в мире, обеспечивающим полную скорость передачи данных 800 ГБ/с.,Сопутствующий пакет программного обеспечения с NVIDIA,Может эффективно продвигать различные типы центров обработки Эффективность выполнения задач искусственного интеллекта, облачных вычислений, обработки больших данных и высокоуровневых вычислительных приложений в данных также применима к недавно построенному центру на базе архитектуры Blackwell. обработки данныхсреда。

NVIDIA Quantum-X800 и Spectrum-X800 выключатель

Среди первых клиентов этих двух приложений — Microsoft Azure и Oracle Cloud Infrastructure. CoreWeave. в Quantum-X800 По сравнению с предыдущим поколением, использование Увеличенная пропускная способность при использовании SHARPv4. 5 раз вычислительная мощность сети увеличилась 9 раз, чтобы 14.4TFlops。Spectrum-X800 Оптимизируйте производительность сети и переключитесь на многоарендную среду, чтобы гарантировать, что каждый арендатор AI рабочая нагрузкапроизводительностьизоляция,Поддерживать оптимальный и постоянный уровень производительности.,Тем самым повышая удовлетворенность клиентов и качество обслуживания.

дома,Две крупнейшие компании, H3C и Huawei, следят за темпами технологического обновления.,последовательно запустили свои собственные800Gцентр обработки выключатель продукции. Например, H3C впервые в мире представила свой 800G со скоростью 51,2 Тбит/с на саммите NAVIGATE. CPOкремниевый светцентр обработки данныхвыключательрядпродукт——H3C Серия S9827.

Фото: глобальный дебют нового H3C 800G CPO кремниевый светцентр обработки данныхвыключатель

Встроенная скорость передачи данных этого продукта достигает 51,2 Тл и поддерживает 64 порта 800G. При обеспечении высокой пропускной способности и использовании преимуществ технологии кремниевой фотоники CPO задержка передачи по одному порту дополнительно снижается на 20%. Это улучшение означает, что за тот же период времени улучшаются возможности обмена данными между графическими процессорами в кластере AIGC. Он может обеспечить увеличение на 25%, что значительно улучшит общую вычислительную производительность графического процессора.

То же самое, Huawei 2023 Год 6 номер месяца 31 Первая модель была представлена ​​на Китайской международной выставке информации и коммуникаций. 800GE центр обработки данныхосновнойвыключатель——Серия CloudEngine 16800-X：

Фото: первый запуск Huawei CloudEngine 16800-X 800GE центр обработки данныхвыключатель

Huawei утверждает, что ее CloudEngine 16800-X поддерживает 288 портов 800GE, имеет задержку межплатной пересылки 3,5 микросекунды и может снизить общую совокупную стоимость владения на 36%.

3 Технология жидкостного охлаждения

В NVIDIA GB200 В случае, когда стойка имеет 2 миль в длину NVLink Электропроводка, всего 5000 кабель, его потребляемая мощность оценивается 20к Вт и выше. Поэтому серверам срочно необходимы более эффективные методы охлаждения. Чтобы эти расчеты выполнялись быстро, NVIDIA применит конструкцию жидкостного охлаждения. Температуры охлаждающей жидкости на входе и выходе соответственно. 25℃/45℃。

КромеNVIDIA,AI Ожидается, что производитель серверов Super Micro Computer расширит производство стоек с жидкостным охлаждением в 24кв2.

Схема стойки жидкостного охлаждения GB200 NVL72

В то же время отечественная производственная цепочка также сотрудничает в продвижении технологий. жидкостного Развитие охлаждения. Три крупнейших оператора собираются в Год 6 В марте была выпущена «Белая книга по технологии жидкостного охлаждения для операторов связи», в которой было предложено 25 Год и позже жидкостное охлаждение в Видение применения более чем 50% масштаба проекта.

Планирование технологий жидкостного охлаждения для операторов связи

Часть содержания цитируется из исследовательского отчета «Huatai Securities».