Распределенная файловая система adoop (HDFS) — это распределенная файловая система на основе Java, управляемая проектом Apache Hadoop. В HDFS файлы делятся на блоки и хранятся на нескольких узлах, что обеспечивает высокую надежность и отказоустойчивость, а также возможность обработки больших объемов данных.

загрузка файла HDFSЗаказ

В Hadoop вы можете использовать команду Hadoop fs -put для загрузки локальных файлов в HDFS. Синтаксис следующий:

hadoop fs -put [local_path] [hdfs_path]

Среди них local_path представляет путь к локальному файлу, а hdfs_path представляет путь к файлу HDFS. Например, чтобы загрузить локальный файл /data/test.txt в каталог /user/hadoop HDFS, вы можете использовать следующую команду:

hadoop fs -put /data/test.txt /user/hadoop/

Если вы хотите загрузить все файлы во всем каталоге и его подкаталогах, вы можете использовать опцию -r со следующим синтаксисом:

hadoop fs -put -r [local_path] [hdfs_path]

Например, чтобы загрузить локальный каталог /data в каталог /user/hadoop HDFS, вы можете использовать следующую команду:

hadoop fs -put -r /data /user/hadoop/

Загрузить файлы в HDFSшаги

Убедитесь, что HDFS запущена

Перед загрузкой файлов убедитесь, что HDFS активирована. Статус HDFS можно проверить с помощью следующей команды:

hadoop dfsadmin -report

Если количество NameNode и DataNode в возвращаемом результате больше 0, это означает, что HDFS запущена.

Создать каталог HDFS

Прежде чем загружать файлы, вам необходимо создать каталог, в котором будут храниться файлы HDFS. Каталоги можно создать с помощью следующей команды:

arduinoCopy codehadoop fs -mkdir [hdfs_path]

Например, чтобы создать каталог /user/hadoop в корневом каталоге HDFS, вы можете использовать следующую команду:

bashCopy codehadoop fs -mkdir /user/hadoop

Загрузить файлы в HDFS

После создания каталога HDFS вы можете загружать локальные файлы в HDFS. Файлы можно загрузить с помощью следующей команды:

hadoop fs -put [local_path] [hdfs_path]

Например, чтобы загрузить локальный файл /data/test.txt в каталог /user/hadoop HDFS, вы можете использовать следующую команду:

hadoop fs -put /data/test.txt /user/hadoop/

4. Проверьте, успешно ли загружен файл.

После загрузки файла вы можете использовать следующую команду, чтобы проверить, был ли файл успешно загружен в HDFS:

hadoop fs -ls [hdfs_path]

Среди них hdfs_path представляет путь к файлу или каталогу HDFS. Например, чтобы проверить, существует ли файл test.txt в каталоге /user/hadoop HDFS, вы можете использовать следующую команду:

hadoop fs -ls /user/hadoop

Если возвращаемый результат содержит файл test.txt, это означает, что файл был успешно загружен в HDFS.