В 2017 году американское кредитно-рейтинговое агентство Equifax подверглось хакерской атаке, в результате которой произошла утечка конфиденциальной информации 140 миллионов человек;

В 2020 году цепочка поставок программного обеспечения SolarWinds подверглась атаке вредоносного кода с участием нескольких отраслей и стран;

В 2022 году Администрация киберпространства Китая наложила на компанию Didi огромный штраф в размере 8,026 млрд юаней на основании Закона о безопасности данных и других законов и постановлений, что стало сигналом тревоги в отношении безопасности данных для интернет-компаний.

В последние годы безопасность данных быстро становится темой, вызывающей серьезную озабоченность в современный информационный век. Сегодня, с быстрым развитием цифровизации, все сферы неотделимы от поддержки данных, и вопросы безопасности данных стали важной задачей. Различные организации и частные лица, включая предприятия, правительства и академические учреждения, должны защищать свои данные от таких рисков, как утечка, потеря, подделка или неправильное использование.

В качестве необходимой технологии для выхода в область больших данных Hadoop обычно развертывается в интрасети пользователя из-за своих бизнес-характеристик. Поэтому на ранней стадии проектирования не уделялось слишком много внимания проектированию безопасности, а больше внимания уделялось реализации. бизнес.

как ведущийПоставщик услуг цифрового базового программного обеспечения и приложенийКенгуру Облако,Мы всегда придавали большое значение вопросу безопасности данных.,декабрь 2022 г.,Самостоятельное исследованиеМеханизм вычислений больших данных EasyMR начальствоДобавлены универсальные возможности предотвращения безопасности приложений с большими данными и управления разрешениями на данные.。

Исходя из этого, EasyMR может быть достигнутоРазвертывание служб управления и контроля безопасности в один клик,Один кликвключатьбольшие данныекластеркомпонентысертификация безопасность, управление пользователями и контроль разрешений Служить.

В этой статье вы узнаете, как EasyMR управляет безопасностью данных Hadoop.

Проблемы безопасности Hadoop

самое раннее развертывание Кластер Hadoopне рассматривал Безопасностьвопрос,еще нетвключать Безопасность Во время аутентификации,Hadoop Имя пользователя, предоставленное клиентом, используется в качестве учетных данных пользователя. Обычно тот, кто инициирует задачу Unix пользователь. Онлайн-службы развертывания компьютеров обычно используют единую учетную запись. При развертывании кластера с единой учетной записью все выполнение выполняется. Hadoop Все пользователи задачи являются суперадминистраторами кластера, поэтому очень легко могут возникнуть ошибки.

Даже если кластер развернут с учетной записью администратора, злоумышленники все равно могут выдавать себя за учетную запись администратора на клиенте. Поскольку кластер продолжает расширяться, Поскольку спрос на использование кластера увеличивается в различных ведомствах, вопрос кластерной безопасности становится весьма важным. Проблемы безопасности Hadoop обычно включает в себя следующие два аспекта:

· Аутентификация пользователя(Authentication) То есть для проверки личности пользователя, Подтвердите, что пользователь является тем, за кого себя выдает, Сюда входит аутентификация пользователей и служб.

· Авторизация пользователя (Авторизация) — это контроль разрешений, разрешающий или запрещающий доступ к определенным ресурсам и определенным пользователям доступа. Авторизация пользователя основана на аутентификации пользователя. Без надежной аутентификации пользователя не существует авторизации пользователя.

Как EasyMR берет на себя обеспечение безопасности Hadoop

Сертификация безопасности для EasyMR Hadoopоснован на Kerberos реализованный, интегрированный LDAP Пользовательская система. Kerberos Это сетевой протокол аутентификации. Пользователям нужно только ввести данные аутентификации, и проверка может получить доступ к множественному доступу путем получения билетов. Kerberos Службы единого входа в систему машины также могут быть выполнены на основе этого протокола.

Hadoop Он не создает учетную запись пользователя самостоятельно, а использует Протокол Керберосдля аутентификации пользователей,от Kerberos Получите учетную запись пользователя из информации о пользователе в сертификате, Таким образом, это не имеет ничего общего с учетной записью, которую использует реальный пользователь.

EasyMR берет на себя безопасность Hadoop, используя в основном следующие два метода управления учетными записями:

Управление учетными записями кластера

Первоначально мы использовали одну учетную запись в качестве администратора кластера, и эта учетная запись представляла собой единую учетную запись для входа в Интернет. Это создавало большие риски для безопасности, и нам нужно было использовать специальную учетную запись для управления кластером. Здесь возникает вопрос: сколько учетных записей эксплуатации и обслуживания нам нужно? Простой метод — использовать специальную учетную запись эксплуатации и обслуживания. Представители CDH и Apache также рекомендуют разделить учетные записи по службам для запуска кластера.

Учитывая, что детальный контроль позволяет эффективно избежать ошибок в работе, EasyMR следует официальным рекомендациям использовать несколько учетных записей, использовать Hadoop в качестве одной и той же группы пользователей и использовать отдельных пользователей для каждого компонента. Если вы переходите от одной учетной записи эксплуатации и обслуживания к развертываниям с несколькими учетными записями, вам необходимо учитывать связанные проблемы с правами доступа к файлам, включая локальные части и части HDFS. Соответствующие изменения можно внести, когда безопасное развертывание будет подключено к сети.

EasyMR компоненты Служить Информацию о текущем пользователе можно настроить вУровень обслуживания пакета продуктовВниз,На рисунке ниже используется Служить hdfs_namenode Например:

Управление учетными записями пользователей

Учитывая, что в каждой команде будут разные группы, каждая группа будет использовать Hadoop Для выполнения требований по обработке больших данных требуется определенная степень многопользовательской среды. Основное внимание здесь уделяется вопросам разрешения данных и операций EasyMR. Интегрированный Система службы каталогов LdapServer,Его функциональные преимущества конкретно отражены в следующем:

• LdapServer может снизить нагрузку на менеджеров учетных записей пользователей при выполнении ряда сложных и утомительных задач, таких как создание учетных записей, их перезапуск, управление разрешениями и аудит безопасности, когда они сталкиваются с такими проблемами, как большое количество пользователей и быстрый рост.

• LdapServer может решить проблемы безопасности доступа к многоуровневым и многотипным системам и базам данных. Все политики управления учетными записями настраиваются на стороне сервера, обеспечивая централизованное обслуживание и управление учетными записями.

• LdapServer может полностью наследовать и использовать функцию аутентификации личности существующей системы управления учетными записями в организации платформы и реализовать разделение управления учетными записями и управления контролем доступа, повышая безопасность аутентификации доступа на платформе больших данных.

Как EasyMR развертывает безопасность Hadoop

EasyMR могу поддержать Hadoop,Hive,Spark,Компонент Ranger включает функциональность Kerberos.,каждыйкомпонентыизвключать В принципе операция та же。Вниз Лицом к лицувключатьHadoop Kerberos Давайте возьмем эту функцию в качестве примера, чтобы познакомить вас с EasyMR. Конкретно как развернуть Hadoop Безопасный.

Подготовить упаковку продукта

Установить пакеты продуктов

● Установите Zookeeper, openldap, kdc, службы Hadoop.

На примере установки службы Hadoop выберите службу, которую необходимо установить, и нажмите «Далее»;

Укажите узел, на котором необходимо развернуть каждую службу, и нажмите, чтобы выполнить развертывание;

После завершения развертывания вы можете проверить права доступа к каталогу и пользователю, запускающему компонент на узле.

Включите безопасность Kerberos

После развертывания службы необходимо по порядку открыть Kerberos.

● переключатель зоопарка

Сначала на странице услуги выберите услуги смотрителя зоопарка,Находится в конфигурации развертывания Switch Переключите элемент, переключите состояние переключателя и дождитесь результата включения переключателя.

● Переключатель Hadoop.

На странице «Услуги» выберите hadoop pkg Служба, найденная в конфигурации развертывания Switch Переключите элемент, переключите состояние переключателя, дождитесь включения переключателя. После успешного включения переключателя Hadoop. Kerberos Функция успешно включена.

Авторизация приложения

Авторизация обычно определяется приложением. Настраивая некоторые атрибуты в базе данных LDAP, приложение может принимать решения об авторизации. После того, как EasyMR развернет LdapServer, управление платформой автоматически свяжет информацию о соединении LdapServer. Пользователям нужно только выбрать соответствующее соединение LdapServer и щелкнуть мышью, чтобы загрузить билет под соответствующим пользователем.

Адрес для скачивания «Белой книги по отраслевой практике управления данными»:https://fs80.cn/380a4b

Друзья, которые хотят узнать или получить дополнительную информацию о продуктах Kangaroo Cloud для работы с большими данными, отраслевых решениях и историях клиентов, посетите официальный сайт Kangaroo Cloud:https://www.dtstack.com/?src=sztxkfz

Адрес проекта:https://github.com/DTStack