Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

Оглавление

1. Сравнение различных аспектов между двумя

2. Преимущества Spark перед Hadoop

3. Три основные распределенные вычислительные системы

Spark — это распределенная вычислительная платформа, вычислительная среда, написанная на языке Scala, а также быстрый, универсальный и масштабируемый механизм анализа больших данных, основанный на памяти.

Hadoop — это экосистема распределенного управления, хранения и вычислений, включая HDFS (хранилище), MapReduce (вычисления) и Yarn (планирование ресурсов);

1. Сравнение принципов реализации

И Hadoop, и Spark представляют собой параллельные вычисления, и оба используют для вычислений модель MR.

Задание Hadoop называется заданием, которое разделено на этапы задачи сопоставления и задачи сокращения. Каждая задача выполняется в своем собственном процессе. Когда задача завершается, процесс также завершается.

Задачи, отправленные пользователями Spark, называются приложениями. Одно приложение соответствует одному SparkContext. В приложении имеется несколько заданий. При каждом запуске операции действия создается задание. Эти задания могут выполняться параллельно или последовательно. В каждом задании этапы разделяются с помощью DAGScheduler посредством зависимостей между RDD во время процесса перемешивания. На каждом этапе распределяется набор задач. каждый исполнитель для выполнения; жизненный цикл исполнителя такой же, как и у приложения, и он существует, даже если ни одно задание не выполняется, поэтому задача может быстро начать чтение памяти для вычислений.

пс: Приложение -> Несколько рабочих мест ->одинjobНесколькоstage -> Один этап и несколько задач

2. Сравнение различных аспектов между двумя

(1) Spark сравнивается с вычислительным модулем MR в Hadoop, но его скорость и эффективность намного выше, чем у MR;

(2) Spark не предоставляет систему управления файлами, поэтому для работы она должна быть интегрирована с другими распределенными файловыми системами. Это просто среда вычислений и анализа, специально используемая для расчета и обработки данных распределенного хранилища. Сама по себе она не может хранить данные.

(3) Spark может использовать HDFS Hadoop или другие облачные платформы данных для хранения данных, но обычно используется HDFS;

(4) Spark может использовать базу данных HBase на основе файлов данных HDFS, HDFS и данных базы данных Mysql через соединение jdbc. Spark может изменять и удалять данные базы данных, тогда как HDFS может только добавлять данные и завершать удаление таблицы;

(5) Скорость обработки данных Spark превосходит MR в Hadoop;

(6) Режим разработки Spark для обработки данных отличается от режима MR. Hadoop считывает данные из HDFS и записывает промежуточные результаты в HDFS через MR, затем снова считывает данные из HDFS для MR, а затем записывает их в HDFS. Этот процесс включает в себя несколько операций. дисковые операции и несколько дисковых операций ввода-вывода, эффективность невысока, а шаблон проектирования Spark заключается в чтении данных в кластере, хранении и работе с ними в памяти, а затем сохранении их в кластере после завершения всех операций;

(7) Spark — высокоэффективный и быстрый вычислительный механизм из-за низкой эффективности MR в Hadoop. Скорость пакетной обработки почти в 10 раз выше, чем у MR, а скорость анализа данных в памяти почти в 100 раз выше, чем у Hadoop (7). из описания на официальном сайте);

(8) RDD в Spark обычно хранятся в памяти. Если памяти недостаточно для хранения данных, для одновременного хранения данных будут использоваться диски. Аварийное восстановление может быть достигнуто с помощью таких механизмов, как кровная связь между RDD и хранилищем данных. в памяти, чтобы разорвать кровные связи. Когда данные могут быть восстановлены в случае потери данных, это похоже на Hadoop. Hadoop основан на чтении и записи на диск, и сгенерированные данные можно восстановить;

(9) Spark представляет концепцию кластерных вычислений в памяти, которая может кэшировать наборы данных в памяти для сокращения задержек доступа, дополнение к 7;

(10) Хорошая отказоустойчивость может быть достигнута с помощью графа DAG в Spark.

3. Преимущества Spark перед Hadoop

(1) Spark основан на RDD. Данные не хранятся в RDD, а преобразуются только через RDD. Через шаблон проектирования декоратора между данными формируются кровные связи и преобразование типов;

(2) Spark написан на языке Scala, который является более кратким, чем программы Hadoop, написанные на языке Java;

(3) По сравнению с Hadoop, который предоставляет только две операции: сопоставление и сокращение для расчета данных, Spark предоставляет богатый набор операторов, которые могут реализовать множество сложных алгоритмических операций с помощью операторов преобразования RDD и операторов действий RDD. Алгоритм необходимо написать. самостоятельно в Hadoop, но в Spark он инкапсулируется напрямую через язык Scala, и его можно использовать напрямую;

(4) Для расчета данных в Hadoop задание имеет только одну стадию сопоставления и сокращения. Для сложных вычислений необходимо использовать несколько MR, что включает в себя размещение диска и ввод-вывод диска, что неэффективно в то время как в Spark задание. Операторы преобразования, которые могут содержать несколько RDD, могут генерировать несколько этапов во время планирования для реализации более сложных функций;

(5) Промежуточные результаты в Hadoop хранятся в HDFS, и каждый MR необходимо обновлять и вызывать. Однако промежуточные результаты Spark сначала сохраняются в памяти. Если памяти недостаточно, они сохраняются на диске вместо HDFS. позволяет избежать множества проблем при операциях ввода-вывода и чтения флэш-памяти;

(6) Hadoop подходит для обработки статических данных, но имеет плохие возможности обработки итеративных потоковых данных; Spark повышает производительность обработки потоковых и итеративных данных за счет кэширования обработанных данных в памяти;

4. Три основные распределенные вычислительные системы

Hadoop подходит для обработки больших статических данных в автономном режиме;

Spark подходит для обработки больших данных потоковой передачи в автономном режиме;

Storm/Flink подходит для обработки больших данных в режиме реального времени.

Заявление об авторских правах: Содержание этой статьи добровольно предоставлено пользователями Интернета, а мнения, выраженные в этой статье, представляют собой только точку зрения автора. Данный сайт лишь предоставляет услуги по хранению информации, не имеет никаких прав собственности и не несет соответствующей юридической ответственности. Если вы обнаружите на этом сайте какое-либо подозрительное нарушение авторских прав/незаконный контент, отправьте электронное письмо, чтобы сообщить. После проверки этот сайт будет немедленно удален.

Издатель: Full Stack Programmer - User IM, укажите источник для перепечатки: https://javaforall.cn/219276.html Исходная ссылка: https://javaforall.cn