NiFi для больших данных (11): Начало работы с NiFi, пример 1

Shortcuts

Calendar Appointments

Invoice App Manage Accounts

User App Manage Users

Role Management Permission

Dashboard Analytics

Setting Account Settings

FAQs FAQs & Articles

Modals Useful Popups
- Notification
  8 New
- - Congratulation Lettie 🎉
    Won the monthly best seller gold badge
    
    1h ago
  - CF
    
    Charles Franklin
    Accepted your connection
    
    12hr ago
  - New Message ✉️
    You have new message from Natalie
    
    1h ago
  - Whoo! You have new order 🛒
    ACME Inc. made new order $1,154
    
    1 day ago
  - Application has been approved 🚀
    Your ABC project application has been approved.
    
    2 days ago
  - Monthly report is generated
    July monthly financial report is generated
    
    3 days ago
  - Send connection request
    Peter sent you connection request
    
    4 days ago
  - New message from Jane
    Your have new message from Jane
    
    5 days ago
  - CPU is running high
    CPU Utilization Percent is currently at 88.63%,
    
    5 days ago
- View all notifications

Корпус входа NiFi один

Требование: импортируйте файлы, созданные в реальном времени из каталога A, в указанный каталог B.

Здесь необходимо использовать процессоры «GetFile» и «PutFile». Чтобы выполнить вышеуказанные требования, настройте соответствующие свойства «GetFile» и «PutFile».

1. Настройте процессор GetFile.

1. Перетащите «Процессор», найдите «GetFile» и создайте процессор.

2. Дважды щелкните панель процессора «GetFile», чтобы открыть конфигурацию, и выберите «СВОЙСТВА» для настройки.

Установите каталог для мониторинга данных. Чтобы задать здесь «/root/test/A», вам необходимо заранее создать этот каталог на каждом узле кластера.

Нажмите «Применить», и информация будет следующей:

Приведенное выше предупреждающее сообщение указывает на то, что текущий процессор не подключен ни к какому нижестоящему процессору, и мы подключимся к процессору «PutFile» позже.

Описание конфигурации «Свойства» вышеуказанного процессора «GetFile» следующее:

Элементы конфигурации	значение по умолчанию	разрешенные значения	описывать
Входной каталог (каталог ввода данных)	[^\.].*		Каталог, из которого нужно извлечь файлы.
Фильтр файлов (Фильтрация файлов)			Выбирайте только файлы, имена которых соответствуют заданному регулярному выражению.
Фильтр пути (фильтрация пути)			Если для параметра «Рекурсивные подкаталоги» установлено значение true, сканируются только подкаталоги, пути которых соответствуют заданному регулярному выражению.
Размер партии (размер партии)	10		Максимальное количество файлов, которые можно получить за итерацию.
Сохранить исходный файл (Сохранить исходный файл)	false	true false	Если это правда, файлы не будут удалены после копирования в «Репозиторий контента». По умолчанию — ложь.
Рекурсивные подкаталоги (рекурсивный подкаталог)	true	true false	Следует ли рекурсивно получать файлы из подкаталогов.
Интервал опроса (интервал опроса)	0 sec		Устанавливает время ожидания перед выполнением листинга каталогов.
Игнорировать скрытые файлы (игнорировать скрытые файлы)	true	true false	Игнорировать ли скрытые файлы.
Минимальный возраст файла (минимальный возраст файла)	0sec		Устанавливает минимальный возраст файла для извлечения. Любые файлы младше этого возраста (на основе даты последнего изменения) будут игнорироваться.
Максимальный возраст файла (максимальный возраст файла)			Устанавливает максимальный возраст файла для извлечения. Любые файлы старше этого (на основе даты последнего изменения) будут игнорироваться.
Минимальный размер файла (минимальный размер файла)	0 B		Установите минимальный размер, необходимый для извлечения файлов.
Максимальный размер файла (максимальный размер файла)			Установите максимальный размер, необходимый для извлечения файлов.

2. Настройте процессор «PutFile».

1. Перетащите «Процессор», найдите «GetFile» и создайте процессор.

2. Дважды щелкните панель процессора «PutFile», чтобы открыть конфигурацию, и выберите «СВОЙСТВА» для настройки.

Установите каталог, в который записываются данные после их поступления в текущий процессор.

Описание конфигурации «Свойства» вышеуказанного процессора «PutFile» следующее:

Элементы конфигурации	значение по умолчанию	разрешенные значения	описывать
Каталог (каталог выписанных данных)			Каталог, из которого нужно извлечь файлы. Вы можете использовать выражения, например: /x1/x2/${path}.
Стратегия разрешения конфликтов (стратегии разрешения конфликтов)	fail	replace ignore fail	Указывает, что следует делать, если файл с таким именем уже существует в выходном каталоге.
Создать недостающие каталоги (создать недостающий каталог)	true		Если это правда, будут созданы отсутствующие целевые каталоги. Если значение false, потоковая отправка файла не удалась.
Максимальное количество файлов (максимальное количество файлов)			Указывает максимальное количество файлов, которые могут существовать в выходном каталоге.
Время последнего изменения (время последнего изменения)			Установите для параметра LastModifiedTime выходного файла значение этого свойства. Формат должен быть гггг-ММ-дд'Т'ЧЧ:мм:ссZ. Вы можете использовать выражение, например ${file.lastModifiedTime}.
Разрешения (разрешение)		true false	Установите разрешения выходного файла на значение этого атрибута. Формат должен быть UNIX rwxrwxrwx. Используйте - для замены запрещенного разрешения (например, rw-r--r--) или восьмеричного числа (например, 644). ). Вы можете использовать выражение, например ${file.permissions}.
Owner		true false	Установите для владельца выходного файла значение этого свойства, используя язык выражений, например ${file.owner}. Примечание. Во многих операционных системах Nifi необходимо запускать от имени суперпользователя, чтобы иметь разрешение на установку владельца файла.
Group			Устанавливает группу в выходном файле в значение этого свойства, используя язык выражений, например ${file.group}.

3. Соедините процессоры «GetFile» и «PutFile».

После подключения к процессору процессор «PutFile» по-прежнему имеет следующее предупреждение:

Дважды щелкните «PutFile» и настройте «НАСТРОЙКИ»:

3. Тестирование

Щелкните правой кнопкой мыши пустое место холста, выберите «Пуск», чтобы запустить «GetFile» и «PutFile», и запишите следующие данные в каталог «/root/test/A» любого узла node1, node2 и node3. в Linux или вы можете переместить существующие файлы в соответствующий каталог:

[root@node1 ~]# echo "aaa" > /root/test/A/a1.txt
[root@node2 ~]# echo "bbb" > /root/test/A/a2.txt
[root@node3 ~]# echo "ccc" > /root/test/A/a3.txt

Обновите страницу WebUI, которая покажет, что данные успешно сохранены в каталоге «/root/test/B».

На соответствующих узлах node1, node2 и node3 мы видим, что соответствующие данные имеются в каталоге «/root/test/B». Если вы хотите остановить вышеуказанные процессоры, вы можете щелкнуть правой кнопкой мыши пустое место панели холста и выбрать «Стоп», чтобы остановить все процессоры.

Примечание. Каталог для записи данных не обязательно создавать заранее на соответствующем узле. Он может быть создан автоматически по умолчанию и настроен через атрибут «Создать недостающие каталоги». Если имена записанных файлов данных совпадают, вы можете настроить свойство «Стратегия разрешения конфликтов» на «заменить» для замены.

Рекомендация

Категории

большие данные регулярное выражение NiFi

Новые посты

Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.

Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).

Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)

Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.

Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!

Идеальная интеграция Cursor и DeepSeek API

DeepSeek V3 снижает затраты на обучение больших моделей

Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).

DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».

Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.

Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле

NiFi для больших данных (11): Начало работы с NiFi, пример 1