Оглавление

1. Что такое ETL?

2. ЭТЛ & ELT

3. Часто используемые инструменты ETL

3.1 sqoop

3.2 DataX

3.3 Kettle

3.4 canal

3.5 StreamSets

4. Стратегия загрузки ETL

4.1 Приращение

4.2 Общая сумма

4.3 Потоковая передача

Редактору есть что сказать

1. Что такое ETL?

ETL,Это аббревиатура английского Extract-Transform-Load.,используется для описанияданныепрохождение через источникизвлекать(extract）、Конвертировать（transform）、нагрузка（load）процесс до места назначения,Это основа хранилища данных.

Извлекать (Extract）В основном для рассредоточения различных бизнес-систем и разных серверов.данные,После полного понимания определения данных,источники данных и определения данных, необходимые для планирования,Разработка действенных источников данных,Разработайте правила извлечения Приращения и медленных градиентов.

конвертировать(transform）В основном дляданные Модель склада,Добиться преобразования данных из бизнес-модели в аналитическую модель с помощью серии Конвертировать.,Благодаря визуальному перетаскиванию инструментов ETL вы можете напрямую использовать стандартные встроенные функции фрагментов кода, пользовательские сценарии, функции, хранимые процедуры и другие методы расширения.,Реализован различный комплекс Конвертировать,И поддерживает автоматический анализ журналов.,Четко контролируйте состояние данных. Конвертируйте и оптимизируйте модель анализа.

нагрузка(Load）Главным образом через Конвертироватьизданныезагрузить вданные Внутри склада,данные можно загрузить путем прямого подключения к библиотеке данных.,Может полностью отражать эффективность. Вы можете настроить режим работы по извлечению данных в любой момент во время работы приложения.,Может быть гибко интегрирован в другие системы управления.

2. ЭТЛ & ELT

в сопровожденииданныесклад Библиотекаизразвивать（Портал: восемь этапов развития хранилища данных）,данные Сумма от малого к большому,данные В реальном времени от Т+1 до квазиреального времени и реального времени,ETL также постоянно развивается.

В традиционном хранилище данных,данные Небольшое количество,Логика расчета относительно проста,Мы можем напрямую использовать инструменты ETL для реализации конвертации данных (T).,Конвертировать и затем загрузить в целевую библиотеку.,То есть (Извлечение-Преобразование-Загрузка). Но в большой сцене данных,данные Чем больше количество, тем больше,Логика вычислений становится все более сложной,Очистку данных необходимо выполнить в распределенном вычислительном механизме с более мощной вычислительной мощностью.,ETLЭто также сталоELT（Extract-Load-Transform）。

Прямо сейчас:Извлечение-Преобразование-Загрузка  >>  Extract-Load-Transform

Обычно то, что мы называем ETL, относится ко всему процессу синхронизации и очистки данных и не ограничивается извлечением-преобразованием-загрузкой данных.

3. Часто используемые инструменты ETL

В приведенном ниже редакторе представлены несколько типов инструментов ETL (sqoop, DataX, Kettle, canal, StreamSets).

3.1 sqoop

• Это инструмент Apache с открытым исходным кодом для передачи данных между Hadoop и сервером реляционной библиотеки данных.
• Вы можете импортировать данные из реляционной библиотеки данных (MySQL, Oracle и т. д.) в HDFS Hadoop или экспортировать данные из HDFS в реляционную библиотеку данных.
• Суть команды sqoop заключается в преобразовании ее в программу MapReduce.
• Sqoop делится на импорт и экспорт.
• Стратегии разделены на табличные и запросные.
• Режим разделен на Приращениеи Вся сумма。

3.2 DataX

• DataX — это широко используемый инструмент/платформа для автономной синхронизации данных в Alibaba Group.
• Реализация включает в себя MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS Эффективная функция синхронизации данных между различными разнородными источниками данных.

3.3 Kettle

• Иностранный бесплатный открытый исходный код、визуальный、МощныйизETLинструмент,Написан на чистой Java,Может работать в Windows, Linux, Unix,извлечение данных эффективно и стабильно.

3.4 canal

• canal — проект с открытым исходным кодом, принадлежащий Alibaba.,Чистая Java-разработка. На основе библиотеки данных. Анализ журнала приращения.,Обеспечить Приращение подписки и потребления в режиме реального времени.,В настоящее время в основном поддерживает MySQL,MariaDB также поддерживается.

3.5 StreamSets

• Это ETL-инструмент для сбора больших данных в реальном времени.,Завершить сбор и распространение данных можно, не написав ни единой строчки кода. Через визуальный интерфейс перетаскивания,Реализуйте проектирование конвейеров данных (Pipelines) и планирование запланированных задач.
• Для создания конвейера Pipelines требуется настройка источника данных (Origins).、Процессоры、Пункты назначения состоят из трех частей.

4. Стратегия загрузки ETL

4.1 Приращение

• Некоторые столы огромные,Нам нужно выбрать стратегию Приращения,Новые дельта-данные необходимо объединить с существующими данными.
• Два метода:
  • объединить(1)

• объединить(2)
  • Только новый (полный присоединиться. Если вы можете получить таблицу обновлений, получите таблицу обновлений)

• Добавить+Удалить
  • таблица истории. Левое соединение, таблица удаления, где select-table.value равно нулю == Таблица а
  • Таблица а full join update-table (Если вы можете получить обновление, получите обновление)

4.2 Общая сумма

Одна Вся в день часть таблицы, вы также можете разделить один день улья на один. сумма。

4.3 Потоковая передача

Используйте kafka для использования журналов binlog mysql в целевой базе данных. Исходная таблица и целевая база данных представляют собой зеркала 1:1.

Редактору есть что сказать

Будь то Вся Либо метод «длина», либо метод «Приращение» приведет к потере лишней памяти или удалит дублирование посредством расчета, чтобы получить самую последнюю информацию. объемданные. Чтобы решить эту проблему, Wall Crack рекомендует схему синхронизации данных Kafka. Исходная таблица меняет один элемент, а целевая таблица использует один элемент. Данные целевой таблицы всегда самые последние. объемданные, и синхронизируются в реальном времени. 

ps. В крайнем случае цифры могут потеряться. Вам нужно написать несколько скриптов мониторинга (подробнее см. в разделе качество данных) и дополнить скриптами~.

Портал серии «Хранилище данных»：https://blog.csdn.net/weixin_39032019/category_8871528.html