1. Преимущества к8с

k8s — это система управления кластерами контейнеров с открытым исходным кодом, которая может осуществлять автоматическое развертывание, автоматическое расширение и сжатие, а также обслуживание кластеров контейнеров.

1. Миграция неисправностей

2. Планирование ресурсов

3. Изоляция ресурсов

4. Балансировка нагрузки

5. Кроссплатформенное развертывание

2. Принцип работы Spark на K8s

Конкретный процесс включает в себя следующие этапы:

①: Пользователь использует kubectl для создания объекта SparkApplication, отправки запроса sparkApplication на API-сервер и сохранения CRD sparkApplication в etcd;

②: Контроллер SparkApplication получает запрос объекта от сервера kube-api, создает отправку (фактически параметризованную команду spark-submit), а затем отправляет ее исполнителю отправки.

③: Исполнитель отправки отправляет приложение в кластер k8s и создает модуль драйверов. Как только модуль драйвера работает правильно, модуль исполнителя создается модулем драйвера. Когда приложение работает нормально, монитор модуля Spark отслеживает состояние модуля приложения (которое можно увидеть через список и статус через kubectl) и отправляет обновление состояния модуля на контроллер. Контроллер отвечает за вызов kube-. API для обновления статуса приложения Spark (на самом деле вышеописанное предназначено для обновления поля статуса SparkApplication CRD).

④: изменение веб-перехватчика администрирования создает svc, вы можете просмотреть веб-интерфейс Spark.

3. Преимущества Spark на K8s

Преимущество 1:

Среда его развертывания очень проста. Теперь мы используем сервис K8s, размещенный в облаке. Нам не нужно поддерживать его узлы управления. Конечно, у каждого облачного сервиса есть свои собственные продукты, такие как EKS от AWS и CCE от Huawei. , GKE Google. Для этого аналогичного продукта нам не нужно поддерживать его управляющий узел, а также не нужно иметь на нем резидентную службу Spark для запуска заданий Spark. Кроме того, он не зависит от среды, поскольку все задания больших данных помещаются в контейнер во время выполнения, и нет необходимости в какой-то предварительно подготовленной среде на узле, которая определяет возможность сосуществования нескольких версий во время выполнения.

Преимущество 2:

это его преимущество в гибкости. Независимо от того, используем ли мы подключаемый модуль автоматического масштабирования кластера с использованием K8 с открытым исходным кодом или более эффективный механизм расширения и сжатия на основе K8, реализованный самими некоторыми облачными провайдерами, мы можем гарантировать, что кластер сможет автоматически расширяться и сжиматься очень быстро. В это время, поскольку неиспользуемые узлы могут быть быстро отключены, соответственно сокращаются вычислительные затраты.

Преимущество 3:

Плата за обслуживание не взимается за каждый узел, а взимается только плата за обслуживание плоскости управления. Эта плата за обслуживание очень низкая. При использовании ресурсов уровня компании эта часть стоимости практически незначительна.

Преимущество 4:

Он имеет более высокое потребление ресурсов. Это сервис kubelet, написанный на языке go. Ресурсы, которые ему необходимо зарезервировать, намного ниже, чем те, которые требуются в JVM, а загрузка его узла может достигать 90% и выше.

4. стимулировать разработку приложений

Для разработки приложений Spark основой на самом деле является большее количество решений по управлению.

all in one spark

Упакованный непосредственно в приложения Spark, Spark может нуждаться в частой модификации.

приложение использует fat jar

Удобнее положить его в банку при упаковке, но это может привести к тому, что банка окажется слишком большой.

Через режим координат пакетов (автоматическая загрузка зависимостей во время выполнения)

в смешанном режиме искра+жировая банка

Поместите в искру некоторые часто используемые и важные файлы, и в толстой банке будет храниться только информация, специфичная для предметной области, необходимая приложению.

5. Преимущества миграции SparkSQL на K8s

1. Вычисления и хранение могут быть разделены, то есть хранение и вычисления разделены. В архитектуре, где хранилище и вычисления связаны, из-за несбалансированного спроса на хранилище и вычисления в каждом бизнес-сценарии одновременное связывание этих двух процессов для масштабирования приведет к пустой трате ресурсов после разделения вычислений и хранения, что может привести к необходимости гибкого масштабирования; выполняться отдельно, и система может быть более гибкой в ​​планировании балансировки нагрузки.

2. Единый пул вычислительных ресурсов реализует общее планирование. SparkSQL можно использовать как автономный бизнес и смешивать с другими онлайн-бизнесами для достижения взаимодополняющих эффектов в период пиков и спадов, что помогает улучшить использование ресурсов сервера, эффективность управления и эксплуатации, а также сэкономить общие затраты. .

6. Испытания Spark на k8s

Задача 1:

Лично я считаю, что самое важное — это процесс перемешивания. Согласно текущему методу перемешивания, мы не можем включить функцию динамических ресурсов. Кроме того, необходимо смонтировать облачный диск. Облачный диск сталкивается с проблемой объема данных Shuffle. Если он больше, он будет расточительным. Если он меньше, он не сможет поддерживать задачу Shuffle Heavy.

Задача 2:

Проблемы планирования и управления очередями. Измерение производительности планирования заключается в том, чтобы гарантировать, что при одновременном запуске большого количества заданий не должно возникнуть узких мест в производительности. Концепция очереди заданий должна быть хорошо знакома студентам, изучающим большие данные. Она обеспечивает представление об управлении ресурсами, которое помогает нам контролировать и распределять ресурсы между очередями.

Прыжок 3:

По сравнению с HDFS производительность чтения и записи озер данных снизится в большом количестве сценариев переименования, списка и других. В то же время пропускная способность OSS также является неизбежной проблемой.

7. Искра на решении k8s

1. Если вы используете файловую систему Docker, проблема очевидна, поскольку не только производительность низкая, но и емкость крайне ограничена, что очень недружелюбно к процессу Shuffle.

2. Если вы используете Hostpath, учащиеся, знакомые со Spark, должны знать, что функцию динамических ресурсов невозможно активировать. Это большая трата ресурсов Spark, и если учесть последующий переход на бессерверные версии K8, это нецелесообразно с точки зрения архитектуры. Путь хоста.

4. Если Исполнитель зависает PV облачного диска, по этой же причине динамические ресурсы не поддерживаются, и объем данных Shuffle каждого Исполнителя нужно знать заранее. Вешать большой - это пустая трата места. Данные в случайном порядке, а также небольшие данные в случайном порядке не могут быть размещены.