​Разработка инфраструктуры DataX и система плагинов

1. Что такое DataX?

DataX — это широко используемый инструмент/платформа для автономной синхронизации данных в Alibaba Group. Он реализует различные типы данных, включая MySQL, Oracle, SqlServer, Postgre, HDFS, Hive, ADS, HBase, TableStore (OTS), MaxCompute (ODPS), DRDS. и т. д. Эффективная функция синхронизации данных между источниками структурированных данных.

Чтобы решить проблему синхронизации разнородных источников данных, DataX превращает сложные каналы синхронизации сетки в звездные каналы передачи данных. DataX служит промежуточной несущей передачи и отвечает за соединение различных источников данных. Когда вам нужно получить доступ к новому источнику данных, вам нужно всего лишь подключить источник данных к DataX, чтобы обеспечить плавную синхронизацию данных с существующим источником данных.

DataX широко используется в Alibaba Group, беря на себя все услуги автономной синхронизации больших данных, и стабильно работает уже 6 лет. В настоящее время ежедневно выполняется 80 000 операций многоканальной синхронизации, а ежедневный объем передачи данных превышает 300 ТБ.

В настоящее время у DataX нет отдельного официального адреса DataX на GitHub:

https://github.com/alibaba/DataX

2. Проектирование платформы DataX

Сам DataX, как платформа автономной синхронизации данных, построен с использованием архитектуры плагинов Framework +. Абстрактное чтение и запись источников данных в подключаемые модули Reader/Writer и включение их во всю структуру синхронизации.

• Reader: Reader — это модуль сбора данных, отвечающий за сбор данных из источника данных и отправку данных в платформу.
• Writer: Writer — это модуль записи данных, отвечающий за непрерывную выборку данных из платформы и их запись в место назначения.
• Платформа: Платформа используется для соединения читателей и записывающих устройств, служит каналом передачи данных для обоих и решает основные технические проблемы, такие как буферизация, управление потоком, параллелизм и преобразование данных.

3. Система плагинов DataX

После нескольких лет накопления DataX теперь имеет относительно комплексную систему подключаемых модулей, и все основные базы данных РСУБД, NOSQL и вычислительные системы больших данных подключены к сети. DataX Framework предоставляет простой интерфейс для взаимодействия с плагинами и простой механизм доступа к плагинам. Вам нужно всего лишь добавить любой плагин, чтобы беспрепятственно подключаться к другим источникам данных.

DataX в настоящее время поддерживает следующие данные:

Справочный адрес для вышеуказанных плагинов:

https://github.com/alibaba/DataX/blob/master/introduction.md