Поскольку Flink объединяет пакетные вычисления и потоковые вычисления, вы можете использовать Flink для построения интегрированной системной архитектуры потоково-пакетной обработки, которая в основном включает в себя интегрированную архитектуру потоково-пакетной интеграции данных, интегрированную поточно-пакетную архитектуру архитектуры хранилища данных и потоково-пакетная интегрированная архитектура озера данных.

1. Интегрированная поточно-пакетная архитектура интеграции данных.

 В сценариях с большими данными часто требуется синхронизация или интеграция данных, то есть синхронизация данных в базе данных с хранилищем больших данных или другим хранилищем. Левая часть рисунка ниже представляет собой одну из традиционных классических моделей интеграции данных. Полная синхронизация и инкрементная синхронизация на самом деле представляют собой два набора технологий. Данные полной синхронизации и данные инкрементной синхронизации необходимо регулярно объединять и непрерывно выполнять итерацию. хранилище данных.

 Вся архитектура интеграции данных, основанная на потоковой и пакетной интеграции Flink, будет другой. Поскольку Flink SQL также поддерживает семантику базы данных CDC, вы можете использовать Flink SQL для синхронизации данных базы данных с базами данных с открытым исходным кодом, такими как Hive, Click House и TiDB, или хранилищем KV с открытым исходным кодом одним щелчком мыши. Основанный на интегрированной потоковой пакетной архитектуре Flink, Flink CDC также представляет собой гибрид потоковой и пакетной обработки. Он может сначала считывать все данные базы данных и синхронизировать их с хранилищем данных, а затем автоматически переключаться в инкрементный режим. Flink CDC считывает журналы базы данных для инкрементной и полной синхронизации, а Flink может автоматически координировать свои действия внутри компании. В этом ценность потоковой и пакетной интеграции.

Видеообъяснение следующее:

2. Интегрированная поточно-пакетная архитектура архитектуры хранилища данных.

 &emspТекущая архитектура основного хранилища данных представляет собой набор типичных автономных хранилищ данных и новый набор хранилищ данных реального времени.,Но эти два стека технологий различны. В автономном хранилище данных,Все еще привык к этому Hive или Spark используется в хранилище данных в реальном времени; Флинк и Кафка. Здесь необходимо решить три проблемы: два набора процессов разработки, высокие затраты; избыточность каналов передачи данных, два набора каналов выполняют операции, связанные с данными, трудно гарантировать согласованность калибра данных, поскольку они состоят из; два комплекта Двигатель разбирается. Использование интегрированной архитектуры потоковой передачи для решения вышеуказанных проблем будет значительно сокращено, а ее преимущества заключаются в следующем:

• Прежде всего, Flink — это набор спецификаций разработки, и не существует двух наборов затрат на разработку. Команда разработчиков и стек технологий могут решить все проблемы бизнес-статистики в автономном режиме и в реальном времени.
• Во-вторых, в канале передачи данных нет избыточности. Его можно рассчитать один раз, и его не нужно рассчитывать повторно в автономном режиме.
• В-третьих, калибр данных естественно согласован. Независимо от того, является ли это автономным процессом или процессом в реальном времени, это набор механизмов, набор SQL, набор UDF и набор разработчиков, поэтому он естественно согласован, и нет проблемы несогласованности между калибры данных в реальном времени и в автономном режиме.

 Интегрированная потоково-пакетная архитектура хранилища данных показана на рисунке ниже.

Видеообъяснение следующее:

3. Интеграция потоковой передачи и пакетной обработки озера данных.

Управление метаданными Hive является узким местом производительности,В то же время Hive не поддерживает обновление данных в реальном времени. У Hive нет возможностей обработки данных, которые не могут обеспечить режим реального или квазиреального времени. Текущая относительно новая архитектура озера данных,Может решить проблему более масштабируемых метаданных,А хранилище озера данных поддерживает обновления данных.,Это интегрированное потоково-пакетное хранилище. Хранилище озера данных в сочетании с Flink,Интегрированная архитектура хранилища данных, работающая в режиме реального времени и в автономном режиме, может быть преобразована в интегрированную архитектуру озера данных, работающую в режиме реального времени и в автономном режиме. Интегрированная потоково-пакетная архитектура озера данных показана на рисунке ниже.

Видеообъяснение следующее: