Каталог статей

Предисловие

1. Почему для обучения больших моделей требуется графический процессор, а не процессор

2. Какие подходящие графические процессоры сейчас доступны для обучения и какова их цена?

Предисловие

Сегодня я случайно увидел твит о внедрении графического процессора. В процессе копирования кода и обучения модели использование графического процессора имеет важное значение. Поэтому для обучения больших моделей требуется графический процессор, а не процессор. Какие модели графических процессоров сейчас доступны на рынке и какова их цена? В этой статье мы поделимся с вами ответами на приведенные выше вопросы.

1. Почему для обучения больших моделей требуется графический процессор, а не процессор

в общем,выбиратьGPUскорее, чемCPUосуществить большой Модель Основная причина обучения заключается в том, чтоGPUсуществоватьВозможность параллельной обработки, высокая пропускная способностьи длямашинное Преимущества оптимизационного аспекта обучающей миссии. Это делает обучение на ГПУ сложным и масштабным машинным процессом. обучение Первый выбор модели.

Возможности параллельной обработки:GPUИметь тысячи меньших、Более выделенное ядро,Это позволяет им одновременно решать несколько задач. Эта возможность параллельной обработки делает графические процессоры идеальными для выполнения большого количества матричных и векторных операций, встречающихся в алгоритмах машинного обучения и глубокого обучения. В сравнении,ЦП (центральный процессор) имеет меньше ядер,Но каждое ядро ​​имеет более общую вычислительную мощность.,Подходит для задач, требующих большого количества логики и последовательной обработки.

Высокая пропускная способность:GPUСпособен обеспечить более высокую пропускную способность,Это означает, что они могут обрабатывать больше данных за меньшее время. Это особенно важно для обучения больших моделей.,Потому что этим моделям обычно приходится обрабатывать огромные наборы данных.,и выполнять миллиарды операций.

Крупномасштабные расчеты:GPUПервоначально разработан для решения сложных задач графики и обработки изображений.,Эти задачи требуют обширных вычислений и обработки данных. Эти конструктивные особенности также делают графические процессоры очень подходящими для обучения крупномасштабному машинному обучению.,Потому что эти модели требуют большого количества математических операций.,Особенно при обучении нейронных сетей.

Оптимизированные библиотеки и фреймворки:Множество фреймворков и библиотек глубокого обучения,Такие как TensorFlow, PyTorch и т. д.,Все сделано для оптимизации графического процессора,чтобы в полной мере воспользоваться возможностями параллельной обработки. Эти оптимизации включают специализированные алгоритмы и технологии аппаратного ускорения.,Может значительно ускорить процесс обучения Модели.

расходы:Хотя и высокого классаGPUПервоначальные инвестиции могут быть меньшеCPUвысокий,Но при решении масштабных задач машинного обучения,Графический процессор из-за его более высокой эффективности и скорости,Может обеспечить лучшую экономическую эффективность. Особенно в среде облачных вычислений,Пользователи могут временно арендовать ресурсы графического процессора по мере необходимости.,Дальнейшее повышение экономической эффективности.

2. Какие подходящие графические процессоры сейчас доступны для обучения и какова их цена?

В настоящее время графические процессоры раскупают все крупные производители. Их невозможно купить, если у вас есть деньги. Более того, крупномасштабное обучение в основном основано на сериях NVIDIA. Из-за китайско-американских отношений это сложнее. получить хорошие результаты. Вот некоторые часто используемые графические процессоры:

A100：Идеально подходит для задач массовых параллельных вычислений и больших Модельтренироваться,Одна из наиболее часто используемых карт в настоящее время.,Высокая стоимость исполнения,Около 1,50 000 долларов США,Но премия серьезная,Ценовой диапазон юаней 10 Вт ~ 20 Вт,Если вам повезет, вы можете получить его около 10 Вт. (Цена только для справки,При покупке следует учитывать множество факторов,Доступны только общие ценовые диапазоны,То же самое касается цен на графические процессоры позже.,Указаны только ценовые диапазоны).

H100：A100продукты нового поколения,Обеспечивает более высокую производительность и более высокую скорость связи NVLink.,Специально для искусственного интеллекта, машинного обучения и оптимизации глубокого обучения. Цена примерно в 2 раза выше А100.,Цена продажи составляет от 2,50 000 до 30 000 долларов США.,Но премия серьезная,Возможно, вы не сможете получить его даже с 3,50 000 долларов США.,Итак, эталонный ценовой диапазон,25 Вт~35 Вт юаней.

А100 и Н100,Из-за политических факторов. был ограничен в прошлом году,По этой причине NVIDIA выпустила альтернативные модели специально для китайского рынка.,Альтернативная модель A100 - A800,На основе существующего A100 пропускная способность высокоскоростной межсетевой шины NVLink уменьшена с 600 ГБ/с до 400 ГБ/с.,Все остальное остается неизменным。Модель замены H100 — H800.,Должно быть, пропускная способность уменьшена как у А800.

A800：Конкретная цена неизвестна.,Но он должен быть похож на А100,Ожидается, что оно будет составлять от 10 до 20 Вт.

H800：Конкретная цена неизвестна.,Но оно должно начинаться с 25w,По оценкам, оно составляет от 35 до 45 Вт.

V100：производительность Определенно не так хорош, как четыре, упомянутые выше.（A100、H100、A800、H800）,Но если средства ограничены,V100 тоже хороший выбор,Цена версии 32G обычно составляет 5–8 Вт.

Общее сравнение показано на рисунке ниже. С точки зрения производительности H100 (или H800) > A100 (или A800) > V100.

4090: Наконец, давайте поговорим о видеокарте 4090. Видеокарта 4090 не может обучать большие модели, поскольку обучение больших моделей требует высокопроизводительной связи, но эффективность связи 4090 слишком низка, но ее можно использовать для вывода. Цена обычно составляет около 2 Вт.

ссылка:https://mp.weixin.qq.com/s/8j_2FiumrpRr8Z1_vIu8Hg