vGPU、MIG и временной интервалтехнологияоптимизация AI и ML из GPU использовать. Узнайте, как эти методы могут уменьшить GPU стоимость и улучшить масштабируемость проекта.

Переведено с Guide to GPU Sharing Techniques: vGPU, MIG and Time Slicing,Автор: Самир Кулкарни.

оптимизация GPU Использование имеет решающее значение в современных вычислениях, особенно когда AI и ML Что касается обработки, графический процессор Существуют эти поля играют ключевую роль, поскольку они обладают беспрецедентными возможностями параллельных вычислений, позволяющими быстро обрабатывать большие наборы данных. современный GPU Бесценен в этих областях. у них есть тысячи ядер,Может быть достигнут очень высокий параллелизм. Это обеспечивает комплексное обучение модели и анализ данных в реальном времени.,И этисуществовать Традиция CPU На да нереально из.

воспользовавшись GPU ресурсы, организации могут ускорить Рабочий процесс МЛОпс,Получайте информацию быстрее,и повысить эффективность своей вычислительной инфраструктуры. Этого можно добиться за счет снижения потребности в дополнительном аппаратном обеспечении. Обеспечение операционных расходов необходимо для достижения значительной экономии средств, а также улучшения масштабируемости и гибкости для удовлетворения потребностей современных вычислительных задач. оптимизация GPU использовать скорость из Ключевого метода, который распределяется между различными нагрузками из Работы в зависимости от существования Графический процессор здесь. графический процессор (vGPU)、Многоэкземплярный графический процессор (MIG) и Временной интервал графического процессор вступает в игру на своем месте!

vGPU vs MIG vs временной интервал

(vGPU vs MIG vs временной интервал)

Технология оптимизации графического процессора

vGPU、MIG и Временной интервал графического Цель процессора существует, позволяя нескольким задачам или пользователям совместно использовать одну физику. GPU Приходитьоптимизация GPU Ресурс изиспользовать ставку. Однако они существуют Работа таким образом, Требования к оборудованиюивариант Есть некоторые различия с точки зрения использования. В этом посте блога мы Воля проясняем эти различия и помогаем вам сделать лучший выбор для лучшего GPU оптимизация。

Виртуальный графический процессор (vGPU)

vGPU или виртуальный GPU это технология, которая позволяет физически GPU в нескольких виртуальных машинах (VM) разделен между. каждый VM получить все GPU Выделенный раздел ресурсов, обеспечивающий одновременный доступ нескольким пользователям и приложениям. GPU ускориться. Эта технология виртуализации требует высокой производительности графики или вычислительной мощности для достижения последовательной и предсказуемой производительности. VM Окружающая среда имеет решающее значение.

vGPU

(vGPU)

Варианты использования vGPU

vGPU Предоставляется на виртуальной машине при необходимости GPU Очень полезно в из ситуаций. Некоторые конкретные примеры включают инфраструктуру виртуальных рабочих столов. (VDI), облачные игры и сценарии удаленной рабочей станции.

Для обработки AI/ML виртуальные графические процессоры важны для выполнения рабочих нагрузок в контейнерных средах.

Преимущества vGPU

• vGPU позволятькаждый VM иметь GPU Ресурсы из специального раздела. Это убеждать каждого VM из Последовательная и предсказуемая производительность.
• потому этот ресурс статически выделен, поэтому существует один VM Запуск нагрузки из Работы не будет мешать другой VM Средняя нагрузка из Работы, что предотвращает что борьба за ресурсы привела к падению производительности.
• каждый vGPU Все экземпляры существуют сами по себе. VM вбегая,Обеспечивает прочную границу безопасности. Эта изоляция для многопользовательской среды имеет решающее значение.,существуют в этих средах,Конфиденциальность и безопасность данных имеют первостепенное значение,И это обычно является обязательным в строго регулируемых отраслях.
• один vGPU существование ошибок или сбоев Воли ограничено внутри этого экземпляра, не позволяя им влиять на одного и того же физика. GPU из Другие VM。
• Хотя большой количество разделов зависит от GPU Модель экземпляра и Менеджер виртуальных графических программное обеспечение процессоров, но vGPU поддерживатьсоздавать каждый GPU большинство 20 перегородки,использовать A100 80GB GPU и Сервер виртуальных вычислений NVIDIA (vCS)。

Как работает виртуальный графический процессор?

vGPU Можно назначить одному, создав VM из GPU Аппаратные виртуальные экземпляры для работы. Обычно этот процесс включает в себя следующие части.

Виртуализация графического процессора

Виртуализация графического процессорадаабстрактныйфизика GPU аппаратное обеспечение для создания нескольких Виртуальных графический процессор (vGPU) из процесса, эти vGPU Может быть назначен на разные извиртуальные машины. (VM) или контейнер. графический процессор Аннотация да реализуется путем объединения компонентов программного обеспечения и управления, в том числе программ управления и специализированных GPU водитель.

Интеграция с гипервизором

Программы управления, такие как VMware vSphere、Citrix XenServer или KVM (машина на базе ядра извиртуальная), управление vGPU из Распределение и Планирование. Программы управления включают в себя один GPU Менеджмент, это ифизика GPU взаимодействовать и контролировать GPU Ресурсы поступают VM израспределение.

Драйверы и стек программного обеспечения

используется для NVIDIA vGPU из архитектура виртуального графического процессора

архитектура виртуального графического процессора

(архитектура виртуального графического процессора for NVIDIA vGPU)

NVIDIA vGPU из архитектура виртуального графического процессора

На хосте включено следующее vGPU Основные задействованные компоненты.

1. хост-драйвер: Этот драйвер управляет существованием hypervisor или в операционной системе хоста и управляйте физикой GPU делит свои ресурсы на виртуальные экземпляры.
2. клиентский драйвер: Установитьсуществоватькаждый VM В этом драйвере ихост-драйвер связи для доступа к раздаче из vGPU ресурс.
3. Менеджер виртуальных графических процессоров: Зависит от GPU поставщики (например, NVIDIA) предоставляет программные компоненты для создания и управления vGPU。

Уведомление: существуют В некоторых случаях вам может не понадобиться хост-драйвери GPU Менеджер существует одновременно. Одного из этого может быть достаточно. Пожалуйста, обратитесь к документации производителя для получения конкретных указаний.

Распределение ресурсов

каждый VM Назначается на основе предопределенных профилей GPU Ресурсы из части. Эти файлы конфигурации определяют каждый VM Сколько получить GPU Память вычислительной мощности,убеждатьсясправедливое распределениеиоптимальныйиспользовать。

Требования к оборудованию для виртуализации графического процессора

Чтобы включить ииспользовать vGPU, вам нужна виртуализация, совместимая с конкретными Графические процессоры, хотя и самые современные GPU Все совместимо. NVIDIA Предусмотрено несколько опор vGPU из GPU, в основном из его Tesla、Quadro и A100 ряд。AMD Firepro S-Series такжеподдерживатьиспользовать SR-IOV извиртуализация。

Многоэкземплярный графический процессор (MIG)

Multi-Instance GPU (MIG) да NVIDIA существовать 2020 Год 5 Запустил технологию в марте. Это позволяет Воля одиночного физика GPU существоватьаппаратное уровни обеспечения разделены на множественную изоляцию из GPU Пример.каждые экземпляры работают независимо, имеют собственные выделенные вычислительные ресурсы и память пропускной способности. Это позволяет нескольким пользователям или приложениям совместно использовать один и тот же ресурс. GPU,сохраняя при этомпроизводительностьизоляция и безопасность。

потому что MIG позволятьсуществоватьаппаратное пара уровней обеспечения GPU руководить Раздел,Таким образом, он может достичь лучшей производительности.,Меньше накладных расходов и выше безопасность.

NVIDIA MIG

(NVIDIA MIG)

Варианты использования МИГ

несколько экземпляров GPU Обычно используется для GPU Интенсивные приложения, такие как HPC Рабочая нагрузка, настройка гиперпараметров и т. д. он также используется для AI Модельное обучениеисервер вывода,Эти серверы требуют высокойпроизводительностьи Выше между процессамиизбезопасность。

Преимущества МИГ

• MIG убедится, что ресурсы графического процессора используются полностью, что сокращает время простоя и повышает общую эффективность.
• MIG Воля GPU Статический раздел представляет собой несколько изолированных экземпляров, каждый из которых имеет свои собственные выделенные разделы ресурсов, включая Потоковый. мультипроцессор (SM)；убеждатьсялучше и предсказуемееизПотоковый мультипроцессор (SM) Качество обслуживания (QoS)。
• специальный разделПамять существуют множественные изолированные случаи, чтобы лучше убедить себя Качество обслуживания памяти。
• Статический Раздел также обеспечивает изоляцию ошибок, тем самым обеспечивая изоляцию неисправностей и стабильность системы.
• Лучшая защита данных и Вредоносная деятельность, изоляция,Обеспечивает лучшую безопасность для мультитенантных установок.

Как работает МИГ?

NVIDIA MIG

(NVIDIA MIG)

NVIDIA MIG существоватьаппаратное реализация уровня программного обеспечения GPU поделился. графический процессор Ресурсы чипа (такие как CUDA Ядро и Память）существоватьаппаратное Уровни обеспечения делятся на более мелкие изолированные Пример.

MIG Архитектура

(MIG Архитектура)

MIG технология, встроенная в GPU из нескольких комбинаций архитектурных функций для достижения. Ниже приведены некоторые важные функции:

1. раздел СМ: SM (потоковый мультипроцессор) да GPU из Главный вычислительный блок. графический процессор Архитектура допускает определенное количество Волей в зависимости от выбранной конфигурации. SM назначен каждому MIG Пример.
2. раздел памяти: GPU из Память разделена на каналы. Архитектура позволяет назначать Волякаждые каналы разным из Примерам. MIG Экземпляры имеют эксклюзивный доступ к себе.
3. высокоскоростное межсоединение: GPU внутреннийизвнутреннийвысокоскоростное Межсоединение — это Раздел, чтобы убедиться, что все экземпляры имеют доступ к своей доле полосы пропускания.

Функция МИГ

аппаратный раздел

MIG использовать NVIDIA A100 GPU из Архитектура, Архитектура спроектирована таким образом, чтобы быть разделенной на семь отдельных частей. GPU Пример.каждый Экземпляр называется“МИГ-срез” , могут быть настроены на различные количества GPU Ресурсы, такие как Память вычислительных ядер.

изоляция и безопасность

каждый МИГ-срез работает независимо от других участков и имеет аппаратное обеспечение обязательного карантина. Выполнение нагрузки из Работы на этом экземпляре «убедитьсуществовать» не будет мешать загрузке из Работы на другом экземпляре, тем самым обеспечивая безопасную и предсказуемую среду изпроизводительности. Изоляция также предотвращает любые потенциальные нарушения безопасности и утечки данных между экземплярами.

Распределение ресурсов

Ресурсы графического процессора разделены на компоненты с помощью комбинации встроенного ПО и программного обеспечения. Администраторы могут создавать и управлять этими компонентами, например, в соответствии с конкретными потребностями рабочей нагрузки.,Для больших учебных работ может потребоваться более крупный изкусочек.,С большей вычислительной мощностью Памяти,А для меньших задач по рассуждению можно использовать искусочек меньшего размера.

Требования к оборудованию

несколько экземпляров GPU да Новая технология, которая популярна лишь у немногих GPU рядмодельподдерживать。этои NVIDIA A100 серия запущена вместе, по состоянию на 2024 Год 6 месяц, в настоящее время поддерживается только NVIDIA Ampere、Blackwell и Hopper поколение GPU поддерживать (источник)。Эти поколенияизнесколько примеровмодельсоответственнода A100、B100/200 и H100/200 GPU。

Временной интервал графического процессора

Временной интервал графического процессорада Технология виртуализации, позволяющая выполнять несколько рабочих загрузок или виртуальныймашина (VM) Поделитесь синглом Графический процессор. Каждый фрагмент по порядку. GPU часть вычислительных ресурсов распределяется между различными задачами или пользователями. Это дает возможность существовать в одиночку GPU Выполняйте несколько задач одновременно, чтобы максимизировать использование ресурсов и обеспечить справедливость воля. GPU время назначено каждому Работанагрузка。

Временной интервал графического процессоравариант использования

Временной интервал графического процессора подходит для тех, кому необходимо ограниченное аппаратное существование обеспечение выполнения большого количества работ из всех Работа нагрузки. Он подходит для сценариев, которые не требуют сложного управления ресурсами и допускают изменчивость. GPU Доступ к квесту «Ипроизводительность».

Временной интервал графического процессораиз Преимущества

• Максимизируйте использование ресурсов и сократите время простоя без специализации обеспечениеили проприетарным программным обеспечением.
• Уменьшает потребность в дополнительном аппаратном обеспечении, тем самым снижая эксплуатационные расходы.
• Обеспечивает гибкость для удовлетворения различных вычислительных потребностей в зависимости от требований нагрузки.
• Временной интервал относительно прост в реализации и управлении, что делает его подходящим для сред, не требующих сложного управления ресурсами.
• Этот метод терпим доступ к графическому процессору и производительность изменений некритических задач, таких как фоновая обработка или пакетные задания.
• В наличии самый большой Количество разделов не ограничено.

Временной интервал графического процессораизограничение

• Частое переключение контекста между рабочими нагрузками «Работа» приводит к снижению производительности и увеличению задержки выполнения задач, тем самым уменьшая GPU использовать ставку из общей эффективности.
• GPU Может быть не в состоянии эффективно справляться с нагрузками с сильно меняющимися потребностями в ресурсах из-за фиксированного времени. Вычислительные требования могут не быть одинаковыми для всех задач.
• производительность Может быть противоречивым,Потому что разные нагрузки из Работы могут иметь разную вычислительную мощность.,Это приводит к потенциальной конкуренции за ресурсы.
• Пара пользователейназначен каждому Работанагрузкаиз GPU Точное количество ресурсов ограничено, поэтому гарантировать выполнение конкретной задачи сложно.

Временной интервал графического процессораиз Работапринцип？

Как уже говорилось выше, Временной интервал графического процессора по определению из профиля Воля GPU Распределение ресурсов Даватькаждыйвременной интервализразличные процессы。нижедаиспользоватьвременной Интервал Планирование и выполнение GPU Задача из основных шагов.

Временной интервал графического процессора

(Временной интервал графического процессора)

реализация планировщика

GPU Управление планировщиком GPU Ресурсы существуютиз распределяются между различными задачами. Это Воля GPU извременной интервал на интервалы, и эти периоды времени распределяются между различными нагрузками Работы в соответствии с предопределенными политиками Воля. VM。каждыйвременной Интервал означает одну фиксированную продолжительность, в течение этого периода существует эксклюзивный доступ к определенной Рабочей нагрузке. GPU ресурс. Эти ломтики обычно короткие, что позволяет GPU Быстро переключайтесь между задачами.

Очередь задач

входящий из GPU Задача ставится существованияодин Зависит от Управление планировщикочередь. Планировщик организует эти задачи в соответствии с приоритетом, требованиями к ресурсам и другими политиками. Планировщик может иметь разные стратегии, например. Круговое планирование。

Распределение ресурсов

Когда интервал времени, назначенный задаче, заканчивается, графический процессор Переключение контекста выполняется для сохранения текущей задачи по состоянию и загрузки следующей задачи по состоянию. Это предполагает сохранение и восстановление регистров, указателей Память и других сопутствующих данных. графический процессор Все задачи, назначенные для убеждения, доступны в пределах необходимых вычислений и Памятьресурса. Это включает в себя управление назначениями Память и правильную передачу данных для убеждения. GPU и От ​​кого GPU передача инфекции.

Исполнение и мониторинг

существовать в пределах отведенного ему интервала времени, задача существует GPU Работайте дальше, используйте вычислительное ядро, Памяйте другие ресурсы. Планировщик отслеживает производительность каждой задачи, корректируя временной интервал и Распределение по мере необходимости. ресурсов,Возьмите общую скорость использования графического процессора и убедитесь в справедливом доступе.

Требования к оборудованию

Временной интервал графического процессорно специфичный из Требования к оборудованию。большинствосовременный GPU Всеподдерживатьэто。

vGPU и MIG и Временной интервал графического процессора

Следующие три типа GPU Раздел Сравнение технологий с высоты птичьего полета. Эта диаграмма представляет собой краткую справку для их понимания.существовать Тип раздела、SM/Память Качество обслуживания、изоляция ошибки и другие аспекты различных функций из различий.

Подвести итог

существовать В этом сообщении блога,Мы исследовали три Виртуализация графического процессоратехнология：vGPU、Многоэкземплярный графический процессор (MIG) и Временной интервал графического процессора。

• vGPU (виртуальный GPU): позволяет использовать одну физику GPU в нескольких виртуальных машинах (VM) Разделенная между собой, каждая виртуальная машина имеет свой собственный GPU Специальный раздел ресурса.
• Многоэкземплярный графический процессор (MIG)：Воляодинокийфизика GPU Разделить на несколько изолированных экземпляров, каждый из которых существуетаппаратное. Уровни обеспечения выделены из расчетов, Память ресурсов пропускной способности.
• Временной интервал графического процессора：Воля GPU Время обработки разделено на дискретные временные интервалы, что позволяет распределять несколько задач в режиме временного мультиплексирования. GPU。

Теперь существуешь, ты уже знаешь vGPU、Временной интервал графического процессораи MIG Разница между из и Нам бы хотелось услышать, как вы используете эти технологии. Хотите выйти на производственный уровень и нуждаетесь в одобрении, вы можете ввести AI и GPU Эксперт по облакам чтобы помочь тебе построить себя из AI облако.

Если вы нашли эту статью полезной и информативной,Пожалуйста, подпишитесь на нашу еженедельную рассылку,больше нравитсяизстатья。пожалуйстасуществовать LinkedIn Начать разговор об этой статье из. Я хотел бы услышать ваши мысли.