Недавно Apche Paimon выпустила последнюю версию 0.7.0. В этой версии Paimon улучшены некоторые новые функции.

Paimon быстро развивается в области озер данных и в будущем будет играть важную роль во всей области разработки данных. Сегодня мы подведем итоги характеристик текущих возможностей и их использования в производственной среде.

Look up join

В области разработки данных в реальном времени соединение поиска обычно считается эквивалентом «ассоциации таблиц измерений». В некоторых компаниях использование Paimon для связывания таблиц измерений является относительно распространенным методом или планом на будущее.

В последней версии Paimon для соединения с поиском были внесены некоторые оптимизации следующим образом:

фиксированный поиск join Таблицы измерений не могут быть обработаны правильно sequence field вопрос.
на основе Paimon из hash lookup присоединяюсь, добавил primary key partial lookup Функция.
Параллельное чтение файлов и пакетная загрузка,Ускорить скорость загрузки данных инициализации таблицы размеров.

Ассоциация таблиц измерений — это возможность, которая часто упоминается и используется в производственных средах. Однако, согласно личному опыту, использование Paimon/Hudi для ассоциации таблиц измерений в настоящее время не является хорошим выбором. К основным недостаткам относятся: такие таблицы, как Paimon/Hudi, не подходят для хранения многомерных данных. Существуют более эффективные варианты, такие как Hbase/Redis или другое высокоскоростное хранилище, разработанное на основе этих двух платформ, кроме того, таблицы измерений связаны со сложными/связями; Большие данные Существует множество масштабных проблем, таких как частота попаданий в кэш/время кэширования/частота загрузки/ограничение скорости доступа и т. д. Эти проблемы будут усугубляться, когда объем данных будет большим, и их необходимо решать. Оптимизация таблиц размеров — очень важная тема в производственной среде многих компаний.

так,Каждому нуженТщательно оценитеИспользуйте таблицу озеризlook up возможность присоединиться.

Возможности CDC

Каждый должен обратить особое внимание наизда,Возможности CDC разделен на две части:

• Сначала CDC присоединяется к Paimon

Эта возможность является базовой. Paimon становится все более совершенной в новой поддержке доступа CDC. Это возможность, которую все типы счетчиков озер постоянно совершенствуют.

Данные CDC, поступающие в озеро, будут иметь уникальные преимущества с точки зрения своевременности/хранения/вычисления. Каждый может продолжать обращать внимание.

• Во-вторых, Пеймон Возможности CDC

Будет ли эта возможность доступна в будущем?,Каждый может продолжать фокусироваться на,один разPaimonиметьиз Возможности CDC,В будущем появится огромная технологическая архитектура.из Изменять。Paimonбудет одновременноиметь Возможности пакетного и потокового чтения,при определенных обстоятельствах Изменятьсуществующийиз Техническая архитектура,Это правдаизда Будущее многообещающее。

Идеальная стыковка со Spark/Hive

Что касается объединения Spark/Hive, возможности постоянно улучшаются, что также является основой для более широкого использования в будущем фреймворков озерных таблиц, таких как Paimon.

Кроме того, есть некоторые функциональные улучшения, такие как поддержка level0FileCount, которую можно использовать для просмотра хода выполнения заданий уплотнения, расширенные возможности перемещения во времени и т. д.

Короче говоря, все продолжают уделять внимание развитию сообщества Paimon, и в будущем в производственной среде появятся более обширные и глубокие приложения.