HDFS — это распределенная файловая система для нескольких пользователей. Так как он многопользовательский,Тогда файлы, хранящиеся разными пользователями, обычно необходимо изолировать по разрешениям.,Предотвратите изменение или случайное удаление другими пользователями. Эта статья о HDFS.

Проверка разрешения

Чтобы включить проверку разрешения, сначала необходимо настроить ее в NN.

Элемент конфигурации dfs.permissions.enabled управляет переключением разрешений: true означает включение, false — выключение.

Если контроль разрешений не включен, любой пользователь может читать, записывать, удалять и выполнять другие операции с любым файлом.

<property>
  <name>dfs.permissions.enabled</name>
  <value>true</value>
</property>

Метод разрешений в HDFS такой же, как и модель разрешений в файловой системе Linux, оба используют модель UGO.

U означает «Пользователь», G означает «Группа», а «О» означает «Другое». Разрешения каждого файла устанавливаются на основе UGO.

Разрешения включают чтение (r), запись (w) и исполняемый файл (x). Эти три находятся в группе и устанавливаются отдельно в соответствии с UGO.

Давайте проверим это: используйте пользователя hncscwc для создания каталога /hncscwc, загрузите файл в этот каталог, а затем используйте пользователя root для удаления файла.

Прежде чем открыть проверку разрешения, пользователь root может успешно удалить файлы.

Открытая проверка разрешенияпосле,Пользователь root не может удалить файл,и подсказывает, что разрешения нет.

Итак, если вы хотите, чтобы пользователь root удалил файлы, загруженные hncscwc, каково решение? Простой и грубый способ — изменить права доступа к файлу через chmod. Например, после установки разрешений для каталога и файла на 777 выше, пользователь root может успешно удалить файл.

Но очевидно, что такой подход недружественный,Потому что почти и ничего Открытая проверка Разрешение то же самое. Таким образом, HDFS также реализует ACL, аналогичный тому, который используется в файловых системах Linux.

ACL

и Проверка Как и разрешение, существуют соответствующие элементы конфигурации для включения ACL: true означает включение, false — выключение.

<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>

После включения ACL вы можете установить и получить ACL файлов/каталогов с помощью команд.

# Получить ACL указанного файла/каталога
hdfs dfs -getfacl [-R] <path>
-R： Рекурсивно составить список ACL всех файлов и каталогов.

# Установить ACL для указанного файла/каталога
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>] [--set <acl_spec <path>]
-b:    Удалите все записи ACL, кроме основных. Сохраняет пользователя, группу и другие записи.
-k:    Удалить ACL по умолчанию
-R:    Рекурсивно работать со всеми файлами и каталогами.
-m:    Измените ACL, добавьте новые записи в ACL и сохраните существующие записи.
-x:    Удалить указанный ACL
--set:    Чтобы полностью заменить ACL, acl_spec должен содержать информацию о пользователе, группе и других разрешениях.
acl_spec:  Список ACL, разделенный запятыми
path:    Путь к файлу, для которого необходимо установить ACL

Подробности команды здесь не будут подробно описаны. Подробности см. в официальной документации.

Продолжая следовать описанному выше сценарию, установите ACL для /hncscwc/info, чтобы разрешить пользователю root писать.

Как вы можете видеть на рисунке выше, после установки ACL для файла после разрешения появится дополнительный «+», указывающий, что для файла установлен ACL.

Просмотрите информацию ACL файла с помощью команды:

Затем используйте пользователя root для добавления в файл. В это время пользователь root может успешно добавить к файлу. Однако, когда для добавления в файл используются другие пользователи, запись завершается неудачей и отображается сообщение об отсутствии разрешения.

Видно, что ACL вступает в силу и действительно достигает желаемого эффекта.

суперпользователь

В HDFS,Есть понятие суперпользователь,Пользователь может успешно выполнить любое действие, не выполняя при этом никаких действий.

Для суперпользователя не существует фиксированного значения, но пользователь, запускающий NN, является суперпользователем.

также,Вы также можете указать группу как группу суперпользователей через конфигурацию.,Все пользователи в этой группе являются суперпользователями.,Конкретная конфигурация:

<property>
    <name>dfs.permissions.superusergroup</name>
    <value>supergroup</value>
</property>

внутренняя реализация

Внутри НН,Существует две основные категории проверки разрешения.,Некоторые ключевые коды следующие:

public abstract class INodeAttributeProvider
{
    //Интерфейс исполнителя контроля доступа
    public interface AccessControlEnforcer {
        // Список параметров опущен
        public abstract void checkPermission(...)
    }
    
    public abstract void start();
    
    public abstract void stop();
    
    public AccessControlEnforcer getExternalAccessControlEnforcer(AccessControlEnforcer defaultEnforcer) {
        return defaultEnforcer;
    }
}

Этот класс является абстрактным классом, используемым для авторизации делегирования HDFS. Этот класс определяет интерфейс AccessControlEnforcer и метод checkPermission. Этот метод необходимо переписать для достижения окончательной проверки. разрешениялогика。

class FSPermissionChecker implements AccessControlEnforcer {
    private AccessControlEnforcer getAccessControlEnforcer() {
        // АтрибутProvider здесь представляет собой конкретный класс реализации вышеуказанного абстрактного класса.
        // если атрибутпровайдер тогда используй себя
        return (attributeProvider != null) ?
            attributeProvider.getExternalAccessControlEnforcer(this) : this;
    }
    
    // Интерфейс внешнего вызова, Список параметров опущен
    void checkPermission(...) {
        AccessControlEnforcer enforcer = getAccessControlEnforcer();
        enforcer.checkPermission(...)
    }
    
    // Реализовать реализацию метода интерфейса AccessControlEnforcer.
    public void checkPermission(...） {
    }
}

Краткое описание процесса аутентификации показано на рисунке ниже:

Это видно по процессу,Наследуйте класс, написав INodeAttributeProvider.,и реализация интерфейса AccessControlEnforcer,HDFS может поддерживать внешнюю реализацию настраиваемого контроля разрешений в виде подключаемых модулей. Фактически,открытый исходный кодбольшие Проект управления правами на данные Ranger, Sentry использует это преимущество и расширяет реализацию проверки в виде подключаемого модуля. разрешения。