rsync 是 Linux 系统下的数据镜像备份工具.

使用快速增量备份工具 Remote Sync 可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步.

1. rsync 特点

rsync 特点如下：

[1] - 可以镜像保存整个目录树和文件系统.

[2] - 可以很容易做到保持原来文件的权限、时间、软硬链接等等.

[3] - 无须特殊权限即可安装.

[4] - rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽.

[5] - 快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件. 类似于增量备份.

[6] - 安全：可以使用 scp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接.

[7] - 支持匿名传输，以方便进行网站镜象.

[8] - 支持远程同步和本地复制.

2. rsync 安装

安装：

sudo apt-get install rsync

Ubuntu16.04 默认安装 rsync，但是没有默认启动. 只需进行如下修改：

# 配置 /etc/default/rsync
# sudo vim /etc/default/rsync
# 将 RSYNC_ENABLE=false改为true
RSYNC_ENABLE=true

sudo cp /usr/share/doc/rsync/examples/rsyncd.conf  /etc
sudo vim /etc/rsyncd.conf
# 修改 path 路径

# 服务启动
sudo /etc/init.d/rsync start
# 服务重启
sudo /etc/init.d/rsync restart
# 服务关闭
sudo /etc/init.d/rsync stop
# 查看服务状态
sudo /etc/init.d/rsync status

2.1. rsyncd.conf

/usr/share/doc/rsync/examples/rsyncd.conf

# sample rsyncd.conf configuration file

# GLOBAL OPTIONS #全局参数

#motd file=/etc/motd 
#log file=/var/log/rsyncd  #日志文件
# for pid file, do not use /var/run/rsync.pid if
# you are going to run rsync out of the init.d script.
# The init.d script does its own pid file handling,
# so omit the "pid file" line completely in that case.
# pid file=/var/run/rsyncd.pid

#指定rsync发送日志消息给syslog时的消息级别
#常见的消息级别是：uth, authpriv, cron, daemon, ftp, 
#    kern, lpr, mail, news, security, sys-log, user, uucp,
#    local0, local1, local2, local3,local4, local5, local6和local7.
#    默认值是daemon。
#syslog facility=daemon
#socket options=

# MODULE OPTIONS

[ftp]
    comment = public archive #模块描述
    path = /var/www/pub #需要同步的路径
    use chroot = yes
#    max connections=10 #最大连接数
    lock file = /var/lock/rsyncd
# the default for read only is yes...
    read only = yes
    list = yes
    uid = nobody
    gid = nogroup
#    exclude = 
#    exclude from = 
#    include =
#    include from =
#    auth users = 
#    secrets file = /etc/rsyncd.secrets
    strict modes = yes
#    hosts allow =
#    hosts deny =
    ignore errors = no
    ignore nonreadable = yes
    transfer logging = no
#    log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
    timeout = 600
    refuse options = checksum dry-run
    dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

3. rsync SSH 模式

From: rsync

SSH模式：

[1] - 本地间同步

# 环境: localhost

# 将 src 目录里的所有的文件同步至 dest 目录（不包含src本身）
rsync -av src/ dest/

# 将 src 目录包括自己整个同步至 dest 目录
rsync -av src dest/

# 即使 src 后面接有 / ，效果同上
rsync -avR src/ dest/

[2] - 局域网间同步

# 远程同步至本地，需输入 username 密码
rsync -av username@server_ip:/data/src/ dest/ 

# 本地文件同步至远程
rsync -av src/ username@server_ip:/data/dest/ 

# 整个目录同步过去
rsync -av src username@server_ip:/data/dest/ 

# delete，从目标目录里面删除无关的文件
rsync -av --delete src/ username@server_ip:/data/dest/

4. rsync FTP 模式

# 远程同步至本地
rsync  -avz  --progress  --delete  username@server_ip::ftp ./

# 同步本地到远程
rsync  -avz  --progress  --delete  ./test.txt  username@server_ip::ftp

5. rsync 参数

如：

# 将服务器 /data/src/ 的文件同步至本机 /data/dest/
rsync -avzP username@server_ip:/data/src/ /data/dest/

参数说明：

-a --参数，相当于-rlptgoD

-r --是递归

-l --是链接文件，意思是拷贝链接文件

-i --列出 rsync 服务器中的文件

-p --表示保持文件原有权限

-t --保持文件原有时间

-g --保持文件原有用户组

-o --保持文件原有属主

-D --相当于块设备文件

-z --传输时压缩

-P --传输进度

-v --传输时的进度等信息，和-P有点关系

如：

# 将本机 /data/src/ 拷贝至服务器 server_ip:/data/dest/目录
# --progress 打印拷贝过程
# u，指定不覆盖原目录内容
rsync -avzu --progress /data/src/ username@server_ip:/data/dest/

参数详解：

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename. 可以使用--suffix选项来指定不同的备份文件前缀.

--backup-dir 将备份文件(如~filename)存放在在目录下.

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件. (不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 像对待常规文件一样处理软链接

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链接

--safe-links 忽略指向SRC路径目录树以外的链接

-H, --hard-links 保留硬链接

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息

-g, --group 保持文件属组信息

-D, --devices 保持设备文件信息

-t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run显示哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 即使出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时显示传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second

-h, --help 显示帮助信息

From: rsync - 百度百科

6. 海量文件同步

多进程rsync ssh 模式，进行海量文件的同步.

海量文件同步方案: 多进程rsync+ssh - 2020.05.24

新建 batch_rsync.sh 脚本，编辑内容如：

#!/bin/sh
PATH="/sbin:/bin:/usr/sbin:/usr/bin:/usr/games:/usr/local/sbin:/usr/local/bin:/root/bin"

dir='/path/to/local'    #需同步的本地路径
redir='/path/to/remote' #远程服务器路径
ip='xxx.xxx.xxx.xxx'    #远程服务器IP
port='22'                   #远程服务器ssh端口
opt='-rv -p -t -L'        #rsync参数选项
#
num=10
depth='4 3 2 1' #归递目录深度

#远程服务器创建目录结构
#rsync $opt --include "*/" --exclude "*" -e "ssh -p $port" $dir/ $ip:$dir/

#从深到浅同步目录
for l in $depth;do
    todo=`find $dir -maxdepth $l -mindepth $l -type d`
     #启动rsync进程
     for i in $todo; do
          now_num=`ps axw | grep rsync | grep $ip | grep -v '\-\-server' | wc -l`
         #echo "${i/$dir/$redir}::$now_num"
        while [ $now_num -ge $num ];do
            #echo 'wait 1s'
            sleep 1
            now_num=`ps axw | grep rsync | grep $ip | grep -v '\-\-server' | wc -l`
        done
        rsync $opt -e "ssh -p $port"\
        $i/ $ip:${i/$dir/$redir}/ &
    done
done

#完成后再全量验证一遍
while true;do
    sleep 5
    now_num=`ps axw | grep rsync | grep $ip | grep -v '\-\-server' | wc -l`
    if [ $now_num -lt 1 ]; then
        rsync $opt -e "ssh -p $port"\
        $dir/ $ip:$redir/
        break
     fi
done

参考

[1] - 增量备份之rsync（ubuntu16.04）

[2] - Linux下rsync+inotify实现实时文件自动同步-2017.12.12

[3] - inotify-tools+rsync实时同步文件安装和配置Ubuntu16.04 - 2019.05.31

Last modification：April 21st, 2021 at 10:24 am
© 允许规范转载