rsync_copy_with_exception

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 Jul 2024 18:09:45 +0000

Rsync копирование с исключением

rsync копирование с исключением директорий и файлов.

Имеется нагруженный web проект, окало 150 Гигов файлов.
Решил оптимизировать backup файлов, убрать директории которые не нужно помещать в backup. Исключения нужно указывать относительное расположение от корневого каталога копирования директории или файла.

К примеру.
Каталог 1 /www/site/backup/
Есть каталог 2 с таким же названием /www/site/sys_log/backup/ расположен он в другом месте сайта.
Если указать исключение ‘backup/’ то правило сопоставимо к двум директориям.
Указывать нужно полный путь от корневого каталога.
Корень /www/site/ значит указываем sys_log/backup/ и т.д.

Исключаем из backup директорию backup, со всеми повторениями названия директории у сайта.

rsync --exclude='/backup/' -a --no-compress --info=progress2 /www/site/ /mnt/backup/site

Исключаем из backup файл.

rsync --exclude='/adm/adm.php' -a --no-compress --info=progress2 /www/site/ /mnt/backup/site

Исключаем из синхронизации несколько директорий и файлы.

sys_log/backup/ — не будем вовсе копировать эту директорию.
include/* — Директорию оставляем, но без содержимого.
adm/adm.php — Файл не копируем.

rsync --exclude='adm/adm.php'  --exclude='sys_log/backup/' --exclude='include/*' -a --no-compress --info=progress2 /www/site/ /mnt/backup/site

Можно попробовать и такой вариант исключения.

--exclude={'/adm/sys.php' ,'/include/arm/','/sys/mydir.html'}

Либо вовсе исключить из копирования по расширению файла.

--exclude '*.log'

Так же все можно поместить в файл, что бы команда была короче. Создаем файл /mnt/syn_exclude.txt c таким содержимым, это мы не будем синхронизировать:

/sys_log/backup/*
/backup/
/sys/include/*
/adm/adm.php

Команда.

rsync --exclude-from='/mnt/syn_exclude.txt' -a --no-compress --info=progress2 /www/site/ /mnt/backup/site

Еще пример.

rsync -a --no-compress --delete --info=progress2 --exclude-from='/mnt/files-exclude.txt' /var/www/site/upload/ /var/www/site-1/upload/

Содержимое файла исключений /mnt/files-exclude.txt

/resize_cache/
/optimize/
/iblock.zip
/__iblock/

Важная заметка — в файле files-exclude.txt исключение директорий и файлов должно начинаться со / (слэша), так rsync поймет, что файл нужно исключать начиная с начала каталога. Если не указать / (слэш) в начале путей в файле files-exclude.txt, данные будут искаться по всей директории.

Если мы хотим просто оставить директорию пустой, не копировать содержимое, то можно указать исключение так

'/resize_cache/*'

Вот как бы и все, примеры rsync копирование с исключением директорий и файлов. Есть еще способ ограничить копирование по размеру, но я такой способ не использовал, не было нужды использовать.

--max-size=550m
--min-size=20m

Ссылки и Дополнения

rsync_examples

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 Jul 2024 18:01:55 +0000

Rsync примеры копирования

Я повседневно использую для большого объема мелких файлов такую команду копирования.

rsync -a --no-compress --info=progress2 /usr/local/www/site/ /usr/local/www/test.stite.local

В этом примере полностью копируем директорию old.site.local в директорию www .

rsync -av /mnt/old.site.local /usr/local/www/

Если к примеру нам нужно только скопировать файлы из данной директории в другую, то добавляет к пути /:

rsync -av /mnt/site.local/ /usr/local/www/site-local

Допустим нам нужно после сразу удалить директорию исходник.

rsync -av --remove-source-files /mnt/site.backup /usr/local/site_local/

Еще один пример Нам нужно полностью скопировать данные, а не новые данные которые были изменены или добавлены, по умолчанию rsync так и делает.

rsync -av -W --remove-source-files /mnt/backup_111/site /usr/local/www/

Что бы увидеть сколько процентов выполнилось то:

rsync -av --progress /mnt/old.site.local /usr/local/www/

Если нам нужно скопировать на удаленный сервер данные:

rsync  -e='ssh -p 73489' -avz /usr/dir root@10.10.10.1:/home/temp/

Допустим нам нужно скопировать/синхронизировать только дерево каталогов в директории:

rsync -v -d /home/site/ /mnt/backup/sites/

Давайте рассмотрим что означают символы в этом выводе: a Режим архивирования, позволяет копировать данные рекурсивно с сохранением симлинков, временных меток, правах доступа.

-z Сжимаем данные.
-v Включаем детализацию.
-e Указываем какой протокол передачи данных использовать.
-r Копируем данные рекурсивно, синхронизируем вместе с внутренними директориями.
-W Полное копирование.
-d Синхронизируем дерево каталогов.
–progress Показывает прогресс-шакалу в %, сколько с копировалось от общего объема.
–remove-source-files Удаляем данные после копирования.
–no-compress Без сжатия, весьма быстро тогда копирует.
–info=progress2 Прогрессивная школа выполнения.

Вот и все rsync примеры которые я часто использую в админстве серверов.