В ходе онлайн-трансляции карнавала разработчиков Tencent Global Digital Ecology Conference 2024 года я наблюдал за представлением Tencent Cloud Stream Computing Oceanus для создания потокового склада на озере и записал заметки.

фон

В последние годы с ускоренным развитием цифровизации у предприятий возникает все более острая потребность в обработке и анализе данных в режиме реального времени. Данные в режиме реального времени стали ключевым элементом стимулирования бизнес-инноваций и повышения конкурентоспособности. Однако традиционные методы пакетной обработки имеют такие проблемы, как низкая своевременность, разрозненность данных и трудности с расширением, и не могут удовлетворить насущные потребности современных предприятий в аналитике в реальном времени.

Океанус - Исследование склада проточного озера

Потоковые вычисления Oceanus — это инструмент анализа в реальном времени для экосистемы продуктов больших данных. Это платформа анализа больших данных корпоративного уровня, построенная на Apache Flink. Она обладает характеристиками комплексной разработки, плавного подключения и суб-подключения. Вторая задержка, низкая стоимость, безопасность и стабильность.

Потоковые вычисления Oceanus направлены на максимальное повышение ценности корпоративных данных и ускорение процесса цифровизации предприятий в режиме реального времени. Это может помочь предприятиям собирать, обрабатывать и анализировать огромные объемы данных в режиме реального времени. Это позволяет быстро реагировать на бизнес-решения, повышает операционную эффективность и открывает новые возможности роста.

Традиционно пользователи выбирают архитектуру Lambda для построения связей для анализа данных. Лямбда-архитектура — относительно стабильная архитектура для потоковой и пакетной обработки данных. Пусть офлайн-данные и данные в реальном времени проходят отдельную обработку ссылок. Данные офлайн-ссылок обычно хранятся в механизмах автономной обработки, таких как Hive, а Spark используется для многоуровневого преобразования данных. Данные ссылки реального времени будут обрабатываться отдельно, и обычно используется многоуровневая ссылка Flink+Kafka в реальном времени. Окончательные данные будут записаны в онлайн-базу данных и хранилище данных. Эта архитектура может обеспечить задержку второго уровня базы данных, но есть и некоторые проблемы. Такая связь недостаточно гибкая, Kafka не может сохранять данные в течение длительного времени и не может осуществлять анализ и интеллектуальный анализ данных. Стоимость такого соединения относительно высока, и upsert-kafka использует локальное хранилище состояний. Данные в реальном времени и автономные данные модели архитектуры Lambda используют отдельные ссылки, что удваивает объем хранилища данных. Логику вычислений в реальном времени и автономного хранения также необходимо разрабатывать отдельно.

Oceanus объединяет ссылки в реальном времени и оффлайн. Унифицированное хранилище данных отвечает следующим двум требованиям: во-первых, автономное чтение данных из хранилища данных и анализ требований OLAP; во-вторых, записанные данные могут создавать полный журнал изменений, совместимый с Flink, который можно подключить к заданиям Flink для дальнейшей потоковой обработки. Tencent запустила Streaming lceberg, решение для потокового хранения данных на озере, основанное на экосистеме lceberg.

Основные моменты:

• Устранение разрозненности данных: устранение барьеров хранения данных, унифицированное хранение данных в автономном режиме и в режиме реального времени, а также избежание повторного хранения данных.
• Упрощенная эксплуатация и обслуживание. Благодаря унифицированному механизму хранения данных и вычислений упрощается управление эксплуатацией и обслуживанием системы.
• Полный журнал изменений. Создайте полный журнал изменений, позволяющий механизмам потоковой обработки, таким как Flink, поэтапно обрабатывать данные.
• Эффективные обновления. Основанный на механизме хранения LSM Tree, он поддерживает эффективные обновления первичного ключа и частичные обновления столбцов.
• Совместимость с экосистемой lceberg: пользователи могут легко переносить существующие задания запросов lceberg.
• Поддерживает несколько механизмов запросов: Spark SQL, Trino/Presto и другие механизмы запросов.
• Оптимизация больших таблиц: улучшите скорость записи данных.
• Кодирование сжатия и оптимизация разделов: уменьшите объем памяти и улучшите производительность запросов.

Сценарии применения:

• игра
• путешествовать
• обучать
• Электронная коммерция

Ниже приведен сценарий анализа данных транзакций заказов в режиме реального времени в индустрии электронной коммерции.

Гибкий план снижения затрат Oceanus

Болевые точки, с которыми сталкиваются предприятия:

• Сложное управление ресурсами. Гибкие задания приводят к бесполезной трате ресурсов, и пользователям обычно требуется много времени для оптимизации заданий и достижения более эффективного управления ресурсами.
• Сложное управление эксплуатацией и обслуживанием. Управление эксплуатацией и обслуживанием платформы Flink является громоздким и сложным. Мониторинг ресурсов, сигналы тревоги о заданиях, исследование журналов, события заданий и оптимизация производительности требуют профессионального и технического персонала для эксплуатации и обслуживания.
• Сложность эластичного расширения. Трудно эластично расширяться в зависимости от деловой нагрузки, и она не может удовлетворить потребности быстрого роста бизнеса.

Учитывая вышеизложенные болевые точки, Oceanus запустила новый гибкий план снижения затрат.

• Поддерживает эластичную усадку и гибко использует ресурсы в сочетании с расширением и сокращением рабочих мест.
• Низкая стоимость: гибкий кластер годовой и ежемесячной подписки.
• Возможности кластера и платформы: автоматическое расширение и сжатие, эластичное масштабирование, мелкозернистые ресурсы.
• Экспертные ресурсы и настройка заданий: настройка ресурсов на уровне оператора, настройка экспертных заданий.
• Мониторинг времени выполнения, мониторинг индикаторов и мониторинг событий
• Интеллектуальные сигналы тревоги, сигналы тревоги индикаторов и сигналы тревоги событий
• Аномальный диагноз: быстрая диагностика одним щелчком мыши и диагностика черного окна
• Поддержка быстрого отката: поддержка управления снимками и восстановление заданий из снимков.
• Журнал: поддерживает экземпляр, время, поиск по ключевым словам.

Подвести итог

На карнавале разработчиков глобальной цифровой экосистемы Tencent 2024 года я узнал много «черных» технологий, обогатил свои знания, стимулировал исследования и размышления о технологиях, а также получил много ценного опыта и идей. Я очень благодарен Tencent за карнавал. Надеюсь, он будет становиться все лучше и лучше. Мы будем поддерживать дух открытости и совместимости, учиться друг у друга, обсуждать и сотрудничать. ну давай же!