Учебное пособие по использованию инструмента синхронизации резервных копий Rclone
Учебное пособие по использованию инструмента синхронизации резервных копий Rclone

Обзор

Rclone Это заказ исполняемой программы для управления облачным хранилищем файлов. Это богатая альтернатива для облачных провайдеров через интерфейс сетевого хранилища. Превосходить 40 Поддержка продуктов облачного хранилища rclone, в том числе S3 Объектное хранилище, корпоративные и потребительские службы хранения файлов, а также стандартные протоколы передачи.

Имя пользователя Rclone для "облакохранилищеиз Швейцарский армейский нож"«Не что иное, как волшебство технологий»

Rclone Наличие мощного облака означает unix Заказ rsync、cp、mv、mount、ls、ncdu、tree、rm и cat。Rclone Знакомая изграмматика включает в себя shell Поддержка трубопроводов и защита от сухого хода. Он доступен в строке Заказа, скриптах и ​​через API. использовать。

Rclone несколько протоколов передачи файлов,Поддержка SFTP,HTTP,WebDAV,FTPиDLNA. Rclone — это зрелое программное обеспечение с открытым исходным кодом.,Первоначально вдохновлен rsynciz и написан на Golang. Его документация и сообщество также очень хороши.,Предоставляет широкий спектр удобных вариантов использования.

Официальный сайт:https://rclone.org/

Функция

Rclone поддерживает, но не ограничивается перечисленными ниже элементами:

  • Резервное копирование файлов(ишифрование)приезжатьоблакохранилище
  • Восстановить (и расшифровать) файлы из облачного хранилища
  • Зеркально отображать облачные данные в других облачных службах или локально.
  • Миграция данных в облако и между облачными провайдерами
  • Конвертировать несколько、шифрование、кэш или диверсификация из облачного хранилища, установкадля диска
  • использоватьlsf、ljson、size、ncduанализироватьииллюстрироватьоблакохранилищесэкономить наизданные
  • Комбинированные файловые системы представляют несколько локальных и/или облачных файловых систем как одну.

характеристика

  • Услуга получения и возврата
    • Всегда проверяйте MD5、SHA1 Хэш-значение для обеспечения целостности файла
    • Временные метки сохраняются в файле.
    • Операции можно возобновить в любой момент
    • Может входить и выходить из сети, например, у двух разных облачных провайдеров.
    • Можно использовать многопоточную загрузку на локальный диск.
  • Конвертировать новые файлы или изменения в файлах, копировать в облачное хранилище.
  • Синхронизировать (способ), чтобы Оглавление было одинаковым
  • После проверки переместите файлы в облачное хранилище и удалите их локально.
  • Проверьте хэш и недостающие/лишние файлы
  • Подключите сетевой диск вашего хранилища
  • через HTTP/WebDav/FTP/SFTP/DLNA сервис локальных и удаленных файлов
  • Экспериментальный веб-интерфейс

использовать

Официальный документ очень подробный. Здесь мы в основном пишем несколько сценариев применения, чтобы увидеть, как это работает. Следующее использование ubuntu22.04 В качестве примера:

Установить

Rclone Это пакет двоичных файлов, который можно напрямую загрузить и настроить. среды Вот и всеиспользовать,Здесь напрямую используется официальный исходник Установить.

Язык кода:javascript
копировать
curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64

sudo cp rclone /usr/bin/
sudo chown root:root /usr/bin/rclone
sudo chmod 755 /usr/bin/rclone

Прямое исполнение rclone version Вы можете видеть, что номер версии — «Установить успешно».

Конфигурация

Конфигурация может добавлять файлы конфигурации напрямую или путем входа в интерактивный сеанс конфигурации. Закажите полную настройку конфигурации, шаг за шагом.

по умолчанию Конфигурация Заканчиватьизназад Конфигурация Файлы сохраняются в:/root/.config/rclone/rclone.conf каталог.

Здесь я привожу непосредственно файл конфигурации Tencent COSiz.

Язык кода:javascript
копировать
[tencent-cos] # Пользовательское имя
type = s3  # тип хранилища, сведения о поддерживаемом типе см. в официальной документации.
provider = TencentCOS  # Провайдер, обратитесь к официальной документации и всем
env_auth = false   # неуспешныйпеременные сертификация средыконфигурация
access_key_id = AKxxxxxxxx  # Фон Tencent Cloud генерирует ключ
secret_access_key = Secretxxxxxxx # Фон Tencent Cloud генерирует ключевой секрет
endpoint = cos.ap-chengdu.myqcloud.com # Регион, в котором находится компания Tencent Cloud, зависит от адреса общедоступной сети, в которой вы находитесь.

грамматика

Язык кода:javascript
копировать
# Локальный на сетевой диск
rclone [Опция функции] <локальный путь> <Конфигурацияимя:путь> [параметр] [параметр]
# Сетевой диск на локальном
rclone [Опция функции] <Конфигурацияимя:путь> <локальный путь> [параметр] [параметр]
# Netdisk в Netdisk
rclone [Опция функции] <Конфигурацияимя:путь> <Конфигурацияимя:путь> [параметр] [параметр]

# [параметр]для Необязательный

Пример:

Язык кода:javascript
копировать
# Синхронизируйте содержимое локальной папки /data/fileiz с папкой из/beifen в tencent-cosхранилище и исключите содержимое файла из, указанного в /root/excludes.txt.
rclone sync /data/file tencent-cos:/beifen --exclude-from '/root/excludes.txt'

# Синхронизировать файлы между двумя сетевыми дисками
rclone copy Конфигурация Имя сетевого диска 1: Путь к сетевому диску Конфигурация Имя сетевого диска 2: Путь к сетевому диску

список команд

использовать rclone --help Доступный для просмотраиметь Заказ,Здесь перечислены только часто используемые из Заказы.,Более подробную информацию можно найти в официальной документации:

Заказ

иллюстрировать

rclone copy

копировать

rclone move

Переместить, если вы хотите удалить пустой исходный каталог после перемещения, добавьте параметр --delete-empty-src-dirs

rclone mount

устанавливать

rclone sync

Синхронизация: синхронизируйте исходный каталог с целевым каталогом и меняйте только целевой каталог.

rclone size

Проверьте размер файлов сетевого диска

rclone delete

Удалить содержимое файла по пути

rclone purge

Удалите путь и все его содержимое файла.

rclone mkdir

Создать каталог

rclone rmdir

удалить каталог

rclone rmdirs

Удалить пустые каталоги в указанной среде. Если вы добавите параметр --leave-root, корневой каталог не будет удален.

rclone check

Проверьте, совпадают ли данные адреса источника и назначения.

rclone ls

Список всех файлов по указанному пути, а также размер файла и путь.

rclone lsl

На одно время загрузки дисплея больше, чем указано выше.

rclone lsd

Вывести список каталогов по указанному пути

rclone lsf

Вывести список каталогов по указанному файл путии

Часто используемые параметры

Заказ

иллюстрировать

-n = --dry-run

Тестовый запуск, чтобы увидеть, что делает rclone в действии.

-P = --progress

Отображает ход передачи в реальном времени, обновляется каждые 500 мс, в противном случае по умолчанию обновляется каждые 1 минуту.

--cache-chunk-size 5M

Размер блока по умолчанию составляет 5 МБ. Чем больше размер, тем быстрее загрузка и тем больше памяти он занимает. Если он слишком велик, это может привести к прерыванию процесса.

--onedrive-chunk-size 100M

Улучшение скорости загрузки OneDrive подходит для широкополосных серверов G-порта.

--drive-chunk-size 64M

Улучшение скорости загрузки на Google Диск подходит для широкополосных серверов G-порта.

--cache-chunk-total-size SizeSuffix

Общий размер, который может занимать блок на локальном диске.

--transfers=N

Количество параллельных файлов, по умолчанию — 4. Рекомендуется уменьшить этот параметр на VPS с меньшим объемом памяти, например 128M из цыплят использовать рекомендуемую настройку для1.

--config string

Укажите путь к файлу конфигурации.,stringдляпуть к файлу конфигурации

--ignore-errors

Пропустить ошибки

--size-only

Проверяйте по размеру файла, не проверяйте хэш

--drive-server-side-across-configs

Перенос с сервера на сервер

бревно

rclone имеет 4 уровня избревной записи,ERROR,NOTICE,INFO и DEBUG。по умолчанию Состояние Вниз,rclone будет генерировать ERROR и NOTICE сообщение уровня.

  • -q - rclone будет только генерировать ERROR информация.
  • -v - rcloneбудет генерировать ERROR,NOTICE и INFO информация,Рекомендовать это
  • -vv - rclone будет генерировать ERROR,NOTICE,INFOи DEBUG информация.
  • --log-level LEVEL - Флаг контролирует уровень бревно.

фильтр

При синхронизации нам необходимо удалить некоторые неважные и конфиденциальные файлы.

Заказ

иллюстрировать

--exclude-from

Исключить список файлов или каталогов из определенной спецификации файла

--include-from

Содержит файлы или каталоги из указанного файла.

--filter-from

Правила Filefilter берутся из указанного файла

--exclude

Исключить файлы или каталоги

--include

Содержит файлы или каталоги

--filter

Правила фильтрации файлов,Эквивалентен двум вышеуказанным вариантам другого использования. Включить правила, начинающиеся с +,Правила исключения начинаются с -

Тип файлафильтр

например --exclude "*.bak",Указывает на исключениеиметь .bak Файл в конце также можно записать как --filter "- *.bak"

например --include "*.{png,jpg}",Содержит все png и jpg файл, исключая другие файлы, также может быть записан --filter "+ *.{png,jpg}"

--delete-excluded Удаление и исключение файла должно сочетаться с фильтромпараметриспользовать, иначе он будет недействителен.

Оглавлениефильтр

Оглавлениефильтр необходимо добавить после названия Оглавление. /,В противном случае он будет рассматриваться как файл для сопоставления.。к / Начало будет соответствовать только корневому каталогу (в указанном каталоге), в противном случае оно будет соответствовать всем каталогам. То же самое относится и к файлам.

--exclude ".git/" Исключить все Оглавление Внизиз.git Оглавление.

--exclude "/.git/" Исключайте только те, которые находятся в корневом каталоге.git Оглавление.

--exclude "{Video,Software}/" Исключить все Оглавление Внизиз Video и Software Оглавление.

--exclude "/{Video,Software}/" Исключайте только те, которые находятся в корневом каталоге Video и Software Оглавление.

--include "/{Video,Software}/**" Включает только те, что находятся в корневом каталоге Video и Software Оглавлениеиз Местоиметьсодержание。

размерфильтр

Единицей размера по умолчанию является kBytes ,Нокиспользовать k ,M или G суффикс.

--min-size фильтр меньше указанного размера файла.например --min-size 50 Указывает, что менее 50k файл.

--max-size фильтр больше указанного размера файла.например --max-size 1G Указывает, что не более 1G файл.

правила фильтрации берутся из файла

--exclude-from <файл правил> :Добавить правила включения из файла

--include-from <файл правил>:добавить из файлаудалитьправило

--filter-from <файл правил> :Добавить включение из файла / Правила исключения. например --filter-from filter-file.txt

filter-file.txt Пример:

Язык кода:javascript
копировать
- secret*.jpg
+ *.jpg
+ *.png
+ file2.avi
- /dir/Trash/**
+ /dir/**
- *

переменные среды

rclone серединаizКаждый параметр может передаваться переменными средынастраивать。переменные Имена окружений могут быть преобразованы в длинные имена опций, удалены -- префикс, изменение - для _,Напишите заглавными буквами и добавьте префикс RCLONE_переменные Приоритет окружениз будет ниже, чем у опции строки Заказ, то есть при добавлении соответствующей опции из через строку Заказ переменные будут перезаписаны. окружающая настройкаиззначение

например Установить минимальный размер загрузки --min-size 50,использоватьпеременные средыда RCLONE_MIN_SIZE=50。когдапеременные После установки среды в строке Заказ использовать --min-size 100,Итак, в это время переменные Значение средыиз будет перезаписано строкой Заказ, а окончательное значение будет --min-size 100

Заказ

иллюстрировать

RCLONE_CONFIG

Настроить путь к файлу конфигурации

RCLONE_CONFIG_PASS

нравиться rclone Настройки шифрования сделаны и это переменные среда Установите пароль для автоматического расшифрования файлов конфигурации.

RCLONE_RETRIES

Количество попыток при ошибке загрузки, по умолчанию 3 раза.

RCLONE_RETRIES_SLEEP

Время ожидания повторной попытки при сбое загрузки. По умолчанию отключено. Единицы измерения — с, м и ч — секунды, минуты и часы соответственно.

CLONE_TRANSFERS

Количество файлов, загруженных параллельно

RCLONE_CACHE_CHUNK_SIZE

размер блока

RCLONE_CACHE_CHUNK_TOTAL_SIZE

Общий размер, который может занимать блок на локальном диске.

RCLONE_IGNORE_ERRORS=true

Пропустить ошибки

лучшие практики

Резервное копирование локально /data/file Каталог к ​​хранилищу Tencent Cloud COS и установите запланированную задачу для автоматической синхронизации каждую ночь. Это может обеспечить эффект регулярного резервного копирования важных файлов в облако.

Оглавление /data/file Создано под excludes.txt , заполните список файлов, которые необходимо исключить.

Язык кода:javascript
копировать
logs/**  # Исключить все файлы в журналах
*.bak # Исключить файлы, заканчивающиеся на .bak
*.zip # Исключить файлы, заканчивающиеся на .zip из

КонфигурацияTencent Cloud cos здесь игнорируется и пишется напрямую rclone Заказываю, проверяю синхронизируется ли интерес.

Язык кода:javascript
копировать
rclone sync -v /data/file tencent-cos:/beifen --exclude-from '/data/file/excludes.txt' >> /root/rclone.log 2>&1

Выполните его вручную, а затем проверьте tail -f /root/rclone.log Выводится ли бревно, пока не будет сообщено об ошибке, это будет успешно.

Конфигурация запланированных задач, автоматическая каждый день, изучайте

осуществлять crontab -e # Открыть список запланированных задач,Перейдите к концу и начните новую строку, чтобы добавить шаг 2. Успех и сохранение.,Содержание следующее: (Указывает на синхронизацию в 3:30 каждую ночь)

Язык кода:javascript
копировать
30 4 * * * rclone sync -v /data/file tencent-cos:/beifen --exclude-from '/data/file/excludes.txt' >> /root/rclone.log 2>&1

осуществлятьsystemctl restart cron.service Перезапустите запланированное задание, чтобы оно вступило в силу.

Проверьте по достижении времени изучения /root/rclone.log Гарантирую, при загрузке проблем не будет.

Подвести итог

использовать Rclone Можетк轻松实现备份同步文件приезжать各大网盘,Решения для резервного копирования упрощены,Его также можно использовать для переноса двух разных программных файлов сетевых дисков.,甚至Можеткпрямойустанавливать Сетевой диск на локальном Используется для увеличения потребления диска.,Для получения дополнительной информации обратитесь к официальной документации.

Справочная ссылка

Официальный сайт Rclone Rclone Расширенное руководство по использованию - Подробное объяснение часто используемых параметров заказа.

статья Оглавление

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose