В этой статье рассказывается о том, что, почему, как и кто использует Data Fabric, включая архитектуру Data Fabric, проблемы, преимущества, основные возможности, поставщиков и многое другое.

Data Fabric – незаменимая вещь для предприятий, ориентированных на данные

За последние несколько лет термин «фабрика данных» стал синонимом интеграции и управления корпоративными данными. Аналитическая компания Gartner называет «переплетение данных» одной из «десяти главных тенденций в области технологий обработки данных и аналитики на 2021 год» и прогнозирует, что к 2024 году 25% поставщиков средств управления данными предоставят полную структуру для переплетения данных — это больше, чем в настоящее время 5%.

В этой статье рассматривается, что, почему, как и кто занимается объединением данных, приводятся его определение, цель, архитектура, проблемы, лучшие практики, преимущества, поставщики и список возможностей объединения данных.

Обзор фабрики данных

Data Fabric демократизирует доступ к данным в масштабе всего предприятия. Это единая унифицированная архитектура с интегрированным набором технологий и сервисов, предназначенных для доставки интегрированных и обширных данных нужным потребителям данных в нужное время и правильным способом — для поддержки рабочих и аналитических рабочих нагрузок.

Data Fabric сочетает в себе ключевые технологии управления данными, такие как каталог данных, управление данными, интеграцию данных, конвейеры данных и оркестрацию данных.

Gartner: A data fabric stitches together integrated data from many different sources and delivers it to various data consumers.

Глава 02. Почему Data FabricData Fabric

Обслуживает широкий спектр бизнес-, технологических и организационных факторов согласования.

бизнес-драйверы

• через надежный、Быстро передавайте данные в озера и хранилища данных, чтобы сократить время на анализ и принятие более разумных решений.
• Получите в реальном времени 360-градусное представление о любом бизнес-объекте, например о клиентах, претензиях, заказах, оборудовании или розничных магазинах, чтобы обеспечить микросегментацию, сократить отток клиентов, предупредить об операционных рисках или обеспечить персонализированное обслуживание клиентов.
• Сократите совокупную стоимость владения за счет постепенной и быстрой модернизации устаревших систем.、Расширять、Обслуживание и изменения.

факторы управления данными

• данные программы Подготовить Автоматизация расширяет возможности специалистов по обработке данных、Инженеры по обработке данных и другие ИТ-специалисты освобождаются от утомительных повторяющихся преобразований данных.、убиратьи Богатый Задача。
• Получите доступ к корпоративным данным любым способом доставки данных, включая массовое перемещение данных. (ETL), виртуализация данных, поток данных, изменение dСбор данных API。
• Платформа Data Weaving Platform интегрирует и расширяет текущие инструменты управления данными компании.,и позвольте другим уйти на пенсию,для повышения эффективности затрат.

организация, управляемая

• Общий язык между инженерами данных и потребителями данных улучшает сотрудничество между командами данных и бизнес-группами данных.
• Доступ к данным самообслуживания позволяет потребителям данных получать необходимые им данные, когда и где они им нужны.,Это повышает гибкость и скорость бизнеса.

Глава 03 Архитектура фабрики данных

Gartner: Идеальная, законченная структура Data Fabric со множеством компонентов.

• хорошо распределенный Архитектура Data Fabric является модульной.,поддерживатькрупный масштаб、Распределенное мультиоблако、Локальное развертывание и гибридное развертывание.
• Как показано на картинке выше,Когда данные поступают от источника и предоставляются потребителю,оно внесено в каталог、Богатый предложениями и предложениями、Подготовить、доставлять、Аранжировка и дизайн.
• Источники данных варьируются от разрозненных устаревших систем до самых современных облачных сред.
• Потребителями данных при переплетении данных являются ученые и аналитики данных (работающие с озерами данных).、Маркетинговый аналитик (занимается сегментацией клиентов)、Распродажа、Эксперт по маркетингу и конфиденциальности данных (сосредоточиться на сегментации клиентов)、Облачный архитектор и т. д.

Глава 04 Переплетение данных в архитектуре сетки данных

Архитектура сетки данных решает четыре ключевые проблемы управления данными:

• Данные разбросаны по десяткам или даже сотням устаревших систем и облачных систем.,Поэтому трудно получить единый источник истины.
• Скорость и объем данных, которые предприятия, ориентированные на обработку данных, должны обрабатывать
• Данные трудно получить, поскольку доступ часто требует инженерного анализа данных.
• бизнес-аналитик、Потребитель оперативных данных、Между инженерами данных и учеными данных отсутствует связь.

Объединение данных идеально подходит для проектирования сеток данных, поскольку оно создает интегрированный связанный уровень данных для широкого спектра источников данных, обеспечивая мгновенную и полную видимость бизнеса, включая аналитические и операционные рабочие нагрузки.

Data Fabric устанавливает семантические определения различных продуктов данных, шаблоны приема данных и необходимые политики управления для защиты данных.

Кроме того, различные направления бизнеса координируют развертывание дополнительных узлов объединения данных, что позволяет им контролировать конвейеры данных и сервисы.

Архитектура сетки данных легко реализуется с помощью объединения данных. Переплетение данных, позволяющее управлять, подготавливать и доставлять данные в режиме реального времени, создает идеальное ядро ​​сетки данных. Конечно, у архитектуры сетки данных есть свои проблемы с реализацией, но Data Weaving легко с ними справляется:

Глава 05 Основные возможности Data Fabric

• Визуализация происхождения данных является критически важной технологией, поскольку при интеграции инструментов с традиционным моделированием данных теряется реляционная информация.

Data Fabric позволяет интегрировать в единую платформу следующие ключевые возможности:

• данные Оглавление
  • Классифицировать и инвентаризировать информационные активы,Визуальное представление цепочки поставок информации
• данныепроект
  • Создавайте надежные и надежные конвейеры данных для операционных и аналитических сценариев использования.
• данныеуправление
  • обеспечить качество、Соблюдайте правила конфиденциальности и делайте данные доступными – и в большом масштабе.
• данные Подготовитьи Договариваться
  • Определите поток данных от источника к месту назначения,включатьданныеубирать、Конвертировать、щит、Последовательность шагов по расширению и проверке
• интеграция данныхидоставлять
  • Получить из любого источникаданныеипоставь этодоставлятьдать любую цель,используйте любой метод：ETL（партия）、обмен сообщениями、CDC、Виртуализация и API
• данныеслой сохранения
  • Для динамического сохранения в широком спектре реляционных и нереляционных моделей.

Data Weaving Data Weaving также должен учитывать следующие ключевые нефункциональные возможности:

Размер, объем и производительность данных

Независимо от того, насколько велик объем данных, его можно масштабировать вверх и вниз динамически и плавно. Поддержка операционных и аналитических рабочих нагрузок корпоративного уровня.

доступность

Поддерживает все режимы доступа к данным, источники данных и типы данных, а также интегрирует статические или динамические основные и транзакционные данные. Получайте и унифицируйте данные в любом формате (структурированном или неструктурированном) из локальных и облачных систем. Уровень логического доступа к структуре данных должен обеспечивать возможность потребления данных независимо от того, где и как данные хранятся или распространяются, поэтому не требуется глубоких знаний базового источника данных.

распределение

Data Fabric должна быть доступна для развертывания в мультиоблачных, локальных или гибридных средах. Чтобы поддерживать целостность транзакций и возможности управления данными, Data Fabric должна поддерживать интеллектуальные стратегии виртуализации данных.

Безопасность

Если данные сохраняются, они должны быть зашифрованы и замаскированы в соответствии с правилами конфиденциальности данных. Структура данных должна иметь возможность передавать учетные данные пользователя в исходную систему, чтобы доступ был должным образом проверен и предоставлен.

Глава 06. Data Fabric, озера данных и базы данных для операционных рабочих нагрузок.

Чтобы объяснить, как Data Fabric дополняет и улучшает хранилище больших данных для рабочих нагрузок, полезно сравнить Data Fabric, озера данных и базы данных.

На диаграмме ниже суммированы плюсы и минусы каждого хранилища данных применительно к крупномасштабным, объемным операционным сценариям использования.

• Поддержка сложных запросов к структурированным и неструктурированным данным.
• Не оптимизирован для запросов с одним объектом, что приводит к увеличению времени ответа.
• Не поддерживать данные в реальном времени,Поэтому постоянно обновляемые данные либо ненадежны, либо ненадежны.,Либо с неприемлемым временем отклика,

реляционная база данных

• Поддержка SQL, широкое распространение и простота использования.
• Нелинейная масштабируемость, требующая дорогостоящего оборудования (сотни узлов) для TB Выполнение сложных запросов к данным высокого уровня практически в реальном времени.
• Высокий параллелизм, вызывающий проблемы со временем отклика

NoSQL Database

• Распределенная архитектура хранения данных поддерживает линейное расширение.
• Нетподдерживать SQL, требует специальных навыков
• Заказ подтверждения запроса данных,Требуется предопределенный индекс,Или вам нужно встроить сложную логику приложения,Уменьшает время выхода на рынок и гибкость

Сбор данныхполный SQL поддерживать

• Распределенная архитектура хранения данных поддерживает линейное расширение.
• Высокий параллелизмподдержки, производительность в реальном времени для рабочих нагрузок, что обеспечивает
• Сложные запросы по одному субъекту хозяйствования
• Сложные запросы по одному субъекту хозяйствования
• утверждениевсе методы интеграции
• для аналитических задачкрупный масштабданные Подготовитьи Передача трубопровода вданныеозероисклад
• Динамическое управление данными

Таким образом, хотя Data Fabric является отличным решением для крупномасштабных рабочих нагрузок, это также взаимовыгодная технология для озер данных и баз данных для рабочих нагрузок автономной аналитики. Для таких рабочих нагрузок Data Fabric может: Вводить в нее новые надежные данные для автономного анализа. Получите от них бизнес-аналитику для внедрения в сценарии оперативного использования в режиме реального времени.

Глава 07. Случаи использования объединения данных

В корпоративных операциях существует множество вариантов использования, требующих крупномасштабных высокоскоростных архитектур данных, способных выполнять тысячи одновременных транзакций. Примеры включают в себя:

Обеспечьте обзор клиента на 360 градусов

Обеспечьте единое представление о клиенте для IVR самообслуживания, агентов по обслуживанию клиентов (CRM), портала самообслуживания клиентов (веб- или мобильного), чат-ботов и технических специалистов по обслуживанию на местах.

Соблюдайте законы о конфиденциальности данных

Обеспечьте соответствие требованиям людей, систем и данных с помощью гибких решений для автоматизации рабочих процессов и данных, разработанных с учетом текущих и будущих норм.

Передача корпоративных данных в озера и хранилища данных

Расширение возможностей инженеров по обработке данных для подготовки и доставки новых, надежных данных — из всех источников ко всем целям — быстро и в большом масштабе.

Данные испытаний доступны по запросу

Создайте хранилище тестовых данных и автоматически доставляйте его тестировщикам и CI/CD трубопроводдоставлять Анонимное тестированиеданные,и имеет полную целостность данных

Модернизация устаревших систем

Безопасность переносит данные из устаревших систем в Data Weaving, а затем использует эту структуру в качестве базы данных для новых приложений.

Защитите транзакции по кредитным картам

Защитите конфиденциальную информацию о держателях карт, шифруя и маркируя необработанные данные, чтобы избежать утечки данных.

Прогнозирование оттока клиентов, обнаружение мошенничества со стороны клиентов, кредитный скоринг и многое другое.

Во многих случаях оперативного использования требуется, чтобы Data Fabric мгновенно отвечала на сложные запросы.

Поэтому Data Fabric должна включать в себя встроенные механизмы обработки:

Прием данных в реальном времени

Непрерывные обновления операционной системы (от миллионов до миллиардов обновлений в день)

Подключайтесь к разным системам

Терабайты данных разбросаны по десяткам огромных баз данных/таблиц, часто с использованием разных технологий.

Динамическое преобразование данных, очистка и обогащение данных

Предоставляйте значимую информацию в режиме реального времени и влияйте на результаты бизнеса

конкретный экземпляр сущности

Например, получить полные данные по конкретному клиенту, местоположению, устройству и т. д.

Высокий параллелизм

Обработка тысяч запросов в секунду

ГЛАВА 08 Преимущества фабрики данных

Data Fabric предлагает множество преимуществ по сравнению с другими подходами к управлению данными, такими как управление основными данными, концентраторы данных и озера данных, в том числе:

Расширенное управление данными

Позволяет автоматически извлекать, проверять и пополнять данные — без каких-либо сценариев преобразования или сторонних инструментов.

Расширенные услуги передачи данных

использовать инновационный механизм для управления и синхронизации данных, полностью поддерживать SQL и встроенный Web уровень обслуживания

Высокая консистенция, долговечность и доступность

Соответствует корпоративным стандартам, имеет надежный уровень базы данных и механизм обработки.

Отличная производительность

Положитесь на архитектуру, которая позволяет выполнять каждый запрос с небольшим объемом данных с обработкой в ​​памяти.

строгая безопасность

Устраняет возможность крупномасштабной утечки данных благодаря сложному механизму многоключевого шифрования.

ГЛАВА 09 Преимущества Data Fabric

Эксплуатационные преимущества, которые Data Fabric предоставляет предприятиям, включают:

Упрощение оркестрации данных

Операторы, которые интегрируют внешние базы данных, бизнес-логику, маскирование, синтаксический анализ и потоковую обработку.

Автоматизированное управление тестовыми данными

Генерируйте данные из производственных систем и предоставляйте высококачественные тестовые данные команде тестирования.

Быстрое соблюдение конфиденциальности данных

Настраивайте, управляйте и проверяйте запросы на доступ субъектов данных, связанные с правилами конфиденциальности данных, такими как GDPR, CCPA, LGPD и другими.

Комплексное управление данными

Настраивайте, отслеживайте и управляйте данными с помощью инструментов административного управления, интуитивно понятных визуальных студий и инструментов веб-управления.

Оптимизация стоимости владения

Положитесь на производительность памяти на обычном оборудовании、полный Линейная банка Расширятьсекси Безрисковая интеграция

Глава 10. Поставщики Data Fabric

Есть многопоставщикпоставлять Интегрированный набор функций поставляетсяподдерживать Data Fabric архитектура. высший рейтинг 5 кусочек Data Fabric Поставщики следующие:

• Единая интегрированная платформа, объединяющая всю структуру данных Функция
• Данные уникально организованы бизнес-единицами для использования в конвейерах данных в реальном времени и крупномасштабных рабочих нагрузках «x360».
• Поддержка Массивные рабочие нагрузки данных, требующие интеграции и мобильности данных в реальном времени
• Комплексный анализ поддержки и оперативной нагрузки
• Быстрое развертывание (обычно в течение нескольких недель) и простая адаптация, поддержка гибкой разработки и CI/CD.
• Низкая совокупная стоимость владения (TCO)
• Сосредоточьтесь на крупных предприятиях с относительно небольшим количеством клиентов среднего размера.
• Высокая концентрация на рынках телекоммуникаций, здравоохранения и финансовых услуг.
• За пределами Северной Америки и Европы мало партнеров по системной интеграции.

Denodo

• Направленность и преимущества виртуализации данных
• Каталог служит единой точкой входа для управления безопасностью.
• Обширное партнерство на рынке
• Оптимизация сценариев использования анализа
• Сложность управления и эксплуатации структуры данных
• Не подходит для больших объемов рабочих нагрузок.
• Дополнительные процессы и работа, необходимые для обеспечения производительности распределенных запросов на платформе.

Talend

• Сосредоточьтесь на интеграции данных в мультиоблачной и гибридной экосистеме и преимуществах.
• Обширные возможности обработки данных
• Обширный набор коннекторов для различных источников данных
• Не подходит для больших объемов рабочих нагрузок.；Лучше всего подходит для сценариев использования аналитики
• Дополнительная информация, необходимая для сложной оркестрации данных и операций с конвейером данных.
• Ограниченные возможности виртуализации данных

Informatica

• использовать расширенную интеграцию данных AI и ML и поддерживать качество данных
• Анализ оптимизации, миграция данных и MDM
• может Расширятькподдерживатьсложныйинтеграция данныхплан
• Сложное и дорогое развертывание и настройка
• Необходимость виртуализации данных
• Ограниченные возможности конвейера данных в реальном времени, что делает его менее подходящим для рабочих нагрузок, требующих интеграции данных в реальном времени.
• Множество разрозненных инструментов, приобретенных с течением времени и еще не интегрированных в единую платформу.

IBM Cloud Pak for Data

• мощныйпродукт Может Расширятьсексисекс能
• 多样化的интеграция данныхдоставлять Способи Архитектура
• Виртуализация данных и управление метаданными
• Улучшенные возможности интеграции, переработанные в Cloud Pak for Data
• состоит из нескольких независимыхпродуктсостоит изструктура данных, вносит неопределенность в структуру, стоимость и развертывание платформы.
• Сложная архитектура делает модернизацию сложной и дорогостоящей.
• Требуются возможности самообслуживания и облачной интеграции данных.

Глава 11 Сбор данных для аналитики и операций

Организации обычно думают,Data Weave создан для анализа больших данных — в частности, анализа тенденций, прогнозной аналитики, машинного обучения и бизнес-аналитики — которые будут выполняться специалистами по обработке данных в автономном режиме.,для получения бизнес-информации.

Но переплетение данных является точным для зависимостей.、Варианты оперативного использования полных и свежих данных (например, прогнозирование оттока клиентов)、кредитный рейтинг、Соответствие конфиденциальности данных、Обнаружение мошенничества、в реальном времениданныеуправлениеи 360 мнение клиента) не менее важно.

Группы обработки данных не хотят иметь одно решение для объединения данных для анализа данных и другое для оперативной разведки. Им нужна единая структура данных для обоих.

Идеальное сочетание данных оптимизирует работу каждого субъекта бизнеса (клиента).、продукт、Заказы и т. д.) Видение и глубина понимания. Это чисто для бизнеса.、Свежие данные анализа офлайн-данных и анализ онлайн-операций в режиме реального времени.、Действенные данные.

Data Fabric одновременно поддерживает автономный анализ данных и оперативную онлайн-аналитику.

Конкретные методы заключаются в следующем:

• Data Fabric непрерывно доставляет высококачественные данные на основе 360-градусного обзора бизнес-объектов (например, определенного сегмента клиентов, линейки продуктов компании или всех розничных магазинов в определенной географической зоне) в озеро данных или СХД.
• использовать С помощью этих данных ученые, работающие с данными, создают и совершенствуют машинное обучение. (ML) Моделирование при анализе данных, использование бизнес-аналитики (BI) анализировать тенденции, сегментировать клиентов и выполнять анализ первопричин (RCA)。
• улучшенный ML Модели развертываются в сплетении данных и выполняются в реальном времени для отдельных объектов (клиентов, продуктов, местоположений и т. д.), тем самым «управляя» алгоритмом машинного обучения. Переплетение данных выполняется в режиме реального времени и по требованию. ML Модель,дляпоставлять Полнота единого объектаитекущийданные。
• Вывод ML немедленно возвращается запрашивающему приложению и сохраняется как часть объекта в связке данных для будущего анализа. Data Fabric также может вызывать механизм рекомендаций в реальном времени, чтобы обеспечить следующее лучшее действие.

Глава 12 Почему K2View

K2View — единственное средство обработки данных, способное реагировать на запросы данных, ориентированных на объекты, и рабочие нагрузки операционной аналитики в режиме реального времени и в любом масштабе.

Вот 5 причин, по которым крупнейшие предприятия мира выбирают K2View для обработки данных:

Микробаза данных для каждого субъекта хозяйствования

K2View патент Micro-Database™ обеспечивает непревзойденную производительность, простоту доступа, целостность данных и универсальный язык в бизнесе. IT между. K2View Data Fabric Объедините данные для каждого бизнес-объекта из всех базовых исходных систем в единую базу микроданных, по одной для каждого экземпляра бизнес-объекта.

Например,База микроданных клиентов объединяет знания компании о конкретном клиенте, включая все взаимодействия (электронные письма, телефонные звонки, посещения веб-портала, чаты...), транзакции (заказы, счета, платежи...) и основные данные - независимо от базовых данных. исходная система, технология и формат данных. в этом случае,Управляйте микробазой данных для каждого клиента.

Базы микроданных можно пополнять новыми полями, которые фиксируются или динамически вычисляются, например. KPI、Информация о согласии、Тенденция к истощению и т. д.。это Можетклегко определить,Автоматическое обнаружение использования,Извлеките предложенные шаблоны данных из базовой системы.

База микроданных представляет собой знания предприятия о конкретном бизнес-объекте.

Чтобы максимизировать производительность:

• Правила синхронизации данных определяют частоту и события каждого элемента данных в микробазе данных, обновляемого из исходной системы.
• Правила виртуализации данных определяют, какие данные будут сохраняться в микро-БД и будут кэшироваться только в памяти.
• Каждая микро-БД сжимается примерно на 90%, что снижает затраты на передачу данных.

Каждая микро-БД зашифрована своим уникальным ключом, поэтому каждый объект уникален. Это обеспечивает высочайший уровень безопасности статических данных.

K2View Data Fabric Можетк Расширятьк Управляйте сотнями миллионов одновременно Безопасностьминиатюраданные Библиотека,и развернуты в распределенных локальных, облачных или гибридных архитектурах.

Данные из любого источника, любой цели, в любом стиле

K2View разработала действенную систему данных, которая может получать данные из любого источника, любым методом доставки данных, а затем преобразовывать их для доставки в любой пункт назначения за миллисекунды.

Микросервисы предоставляют приложениям-потребителям единое представление о любом бизнес-объекте.

K2View Data Fabric представляет собой среду с минимальным использованием кода или без него для создания и отладки микросервисов. Использовать визуальный конструктор перетаскивания,Можетк Быстрая настройкаи Договариватьсямикросервисыкподдерживать Любой вариант оперативного использования。Этот подход помогаетданныерассматривается какпродуктиподдерживатьсетка Архитектура。

Пользователям или токенам, которым необходим доступ к микросервису, назначается роль, которая определяет уровень доступа к данным, который они имеют. После развертывания микросервиса K2View Data Fabric Будет контролировать аутентификацию и авторизацию,тем самым соответствующим образом ограничивая доступ пользователей。

Одна платформа, множество вариантов использования

Платформа K2View — центральный дата-центр,Получите в режиме реального времени достоверное и целостное представление о любом бизнес-объекте в любом потребляющем приложении, озере данных или хранилище данных. поэтому,Существует множество вариантов использования объединения данных.,и во многих подразделениях предприятия.

Подводя итог, платформа предлагает:

Модульная, открытая, масштабируемая архитектура

интеграция данных、Конвертировать、Богатый、Подготовитьидоставлять——интегрированы в один Может Расширятьплатформа

Средняя вторая скорость, сквозное соединение, время отклика

Переплетение корпоративных данных,Создан для поддержки операций в реальном времени,Обеспечивает двунаправленное перемещение данных между источником и целью.

Управление данными для операционных и аналитических нагрузок

Интегрированные достоверные данные,Доставка в режиме реального времени в потребляющие приложения,или конвейер в озеро данных и хранилище данных для анализа