Прощай, август, здравствуй, сентябрь, сегодня 8 сентября, начало нового учебного года, Cloudera официально выпустила CDP Base 7.1.9 и Cloudera Manager 7.11.3. В этой версии впервые представлена ​​мощная функция анализа Open Data Lakehouse в CDP PvC Base. В то же время, как и CDP Base 7.1.7, это также версия с долгосрочной поддержкой (долгосрочный выпуск, LTS). время EOS — сентябрь 2027 года.

1. Основные моменты

1.CDP От Base7.1.9 до Open Data Lakehouse представляет архитектуру данных будущего — Apache Современная архитектура на базе Iceberg обеспечивает надежность данных и упрощенное управление ими. Этот инновационный формат таблиц, основанный на стандартах с открытым исходным кодом. формат) произвел революцию в управлении крупномасштабными данными.,Благодаря встроенным функциям, таким как путешествия во времени, эволюция шаблонов и упрощенное обнаружение данных.,Icebergделатьданные Команды могут улучшитьУправление озером данных,При этом сохраняется целостность данных.

2. Эта версия обеспечивает высокую доступность благодаря обновлениям с нулевым временем простоя (ZDU), гарантируя минимальные нарушения рабочего процесса за счет устранения или сокращения длительных простоев. Клиенты могут еще больше повысить производительность за счет одноэтапных обновлений и автоматических обновлений крупных кластеров, тем самым повышая отказоустойчивость и эффективность бизнес-операций.

3. Хранилище Apache Ozone делает развертывания наших клиентов достаточно масштабируемыми для обработки огромных наборов данных. В этом выпуске добавлены новые функции Ozone, такие как снимки, улучшенная репликация и квоты для томов и сегментов, чтобы способствовать внедрению современных облачных архитектур.

2. Обновления основных функций

1. Apache Iceberg уникальным образом сочетает в себе надежность транзакций и эффективность столбчатого хранилища.,для обработкиАнализ озера данныхобеспечивает новый стандарт,Модернизация озера данных в новую интегрированную структуру «озеро-склад».

• • Эта версия объединяет вычислительные механизмы Impala, Spark, Flink и NiFi.,Для одновременного доступа и обработки наборов данных Iceberg. Он обеспечивает возможности перемещения во времени, улучшенную производительность запросов, управление данными, а также упрощенный конвейер данных и операции с данными.,Чтобы повысить гибкость клиентов, выполните развертывание. также,Доступ к данным Федерации через все эти механизмы позволяет легко развертывать несколько различных вариантов использования в одной реплике данных.
• • В этой версии также используется схема данных dataLake на месте. эволюция и транзакции ACID, упрощающие общие Data Protection Регламент (GDPR) и аналогичные правила.
• • Iceberg Репликация позволяет клиентам создавать данные на уровне таблицы между таблицами Iceberg в частном облаке для Iceberg, созданного Spark и работающего в хранилище HDFS. Таблица V2.
• • Этот выпуск поддерживает миграцию на месте из таблиц Hive в Iceberg с помощью одной команды SQL без необходимости рефакторинга приложения, что позволяет клиентам максимизировать возможности Data Lakehouse.

2. Возможности высокой доступности. Готовность предприятия требует, чтобы развертывания и рабочие нагрузки клиентов были надежными, высокодоступными и гибкими. Этот выпуск демонстрирует нашу приверженность росту числа клиентов и бизнес-операций за счет обеспечения высокой доступности с помощью:

• • Обновление с нулевым временем простоя (ZDU) отвечает потребностям клиентов в обеспечении высокой доступности при обновлении кластера. HDFS, HBase, Hive, Kudu, Kafka, Ranger, Ranger KMS и YARN теперь поддерживают обновления без простоев. Кроме того, Impala, Knox, Job History Server, Oozie, Phoenix, Solr, Zeppelin и Zookeeper теперь поддерживают сокращение времени простоя при обновлении.
• • Ливи и Спарк History Высокая доступность сервера позволяет запускать несколько экземпляров службы в кластере для обеспечения бесперебойного обслуживания в процессе развертывания.

3. Функции и интеграции Apache Ozone. Продолжая раскрывать весь потенциал приложений с интенсивным использованием данных, этот выпуск предоставляет следующие новые функции Ozone:

• • Ozone теперь поддерживает снимки уровня тома и сегмента, добавил Ozone. reconулучшать,Предоставление информации о ключевых показателях и отчетах управления данными.,Например, фильтры, размеры или тепловые карты посещений (тепловая карта).,Другие включают, например, количество обращений к данным или их удаления.
• • Интеграция Ozone-Knox позволяет пользователям получать доступ к Ozoneданным с помощью Knox через стандартные протоколы, такие как HDFS и S3.
• • Интеграция Ozone-Hue позволяет Hue подключаться и просматривать объекты Ozone с помощью файлового браузера. Кроме того, Hue также поддерживает использование данных в Ozone для запуска хранимых процедур и доступа к истории запросов.
• • Служба сопоставления ресурсов Ranger (RMS) будет поддерживать авторизацию мест хранения Ozone. RMS для Ozone сосуществует с синхронизацией ACL Hive-HDFS и обеспечивает авторизацию для файловых систем HDFS и Ozone.

4. Возможности платформы. CDP Private Cloud Base обеспечивает защиту конфиденциальности и целостность данных между приложениями, обменивающимися данными по сети. В этой версии добавлены новые меры безопасности и расширенные возможности шифрования для создания более безопасной среды клиента:

• • Шифрование протокола TLS1.2 обеспечивает соединения безопасности, создаваемые между хостами в кластере, для использования TLS между службой CDP и внутренней библиотекой данных. 1.2。
• • Безопасность связи SSL (TCPS) обеспечивается между базовым компонентом CDP PvC и внутренней библиотекой данных Oracle.
• • Поддержка опции «noexec» в файловой системе «/tmp» позволяет компонентам или службам CDP запускаться без включения exec в /tmp, тем самым снижая риски безопасности, запрещая пользователям запускать исполняемые двоичные файлы из /tmp.

5.Оперативные базы данных: Kafka перебазируется до версии 3.4, Zookeeper перебазируется до 3,8, Curator перебазируется до 5.4.0.

6. Новые и улучшенные функции безопасности. Следующие функции и улучшения безопасности помогают управлять комплексной безопасностью данных и соблюдением политик для базы CDP PvC:

• • Ranger KMS вместо ключа Trustee Сервер (KTS) становится единой службой управления ключами шифрования, поддерживающей импорт ключей из KTS и NavEncrypt, а также из старого узла KTS, где находится NavEncrypt, в Ranger. Автоматическое переключение узлов KMS,чтобы избежать поврежденийданныешифрование и Безопасностьсекс。
• • Knox HttpFS повышает периферийную безопасность доступа и транспортировки HDFS.
• • Аутентификация по токену Knox обеспечивает эффективную и масштабируемую аутентификацию пользователей за счет использования токенов, которые можно легко заменять, обновлять и отзывать.

7.Функции SDX. Чтобы пользователи и администраторы могли продолжать пользоваться преимуществами Shared Data Experience (SDX) и улучшать управление платформой и данными, в версии 7.1.9 доступны следующие функции:

• • Ranger теперь поддерживает высокую доступность для синхронизации тегов Ranger/синхронизации пользователей, поэтому в случае сбоя хоста по умолчанию другие хосты могут взять на себя управление.
• • Ranger User Sync теперь предоставляет клиентам возможность обрабатывать пользователей/группы из нескольких источников синхронизации, таких как обновленное членство в группах.
• • Ranger Import/Export предоставляет API для ролей, устраняя необходимость вручную создавать роли и связывать их с политиками импорта/экспорта.
• • Устаревание аудита Атласа (аудит устаревание) сокращает существующий аудит в системах Atlas на основе стандартов конечного пользователя и изменений конфигурации, управляемых пользователем.

8. Возможности обеспечения соответствия и отчетности. Поддержка стандартов CGI и сертификации FIPS имеет решающее значение для регулируемых отраслей и государственных организаций. В этом выпуске добавлена ​​сертификация FIPS для платформы RHEL 8.8 (с JDK 8), чтобы помочь нашим клиентам защитить конфиденциальную информацию и соблюдать меры безопасности. Кроме того, поддержка компонентов FIPS была расширена на Apache Phoenix, NavEncrypt и Ranger KMS.

9. Матрица поддержки обновлений. Эта версия упрощает работу пользователей за счет упрощения обновления. Матрица поддержки одноэтапного обновления CDP PvC Base 7.1.9 показана на рисунке ниже.

10. Поддержка новых операционных систем и баз данных. Поддержка операционных систем: RHEL 9.1, Oracle UEK, SLES 15 SP4. Python: поддержка Python 3.10;

Оригинальная ссылка:

https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202309-719.html

Примечания к выпуску Cloudera Manager 7.11.3:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.9/manager-release-notes/topics/cm-whats-new-7113.html

Примечания к выпуску Cloudera Runtime 7.1.9:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.9/runtime-release-notes/topics/rt-pvc-whats-new.html