Linux之rsync同步工具介绍
1.rsync介绍
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作平台。
rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。rsync官方文档（http://www.samba.org/ftp/rsync/rsync.html）
rsync 特性（Some of the additional features of rsync are）
- support for copying links, devices, owners, groups, and permissions（支持拷贝特殊文件如链接文件，设备等）
- exclude and exclude-from options similar to GNU tar （可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能）
- a CVS exclude mode for ignoring the same files that CVS would ignore（可以做到保持原文件或目录的权限，时间，软硬链接，属主、组等所有属性均不改变-p）
- can use any transparent remote shell, including ssh or rsh（可实现增量同步，即只同步发生变化的数据，因此数据传输效率很高）
- does not require super-user privileges（可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密））
- pipelining of file transfers to minimize latency costs（可以通过socket(进程方式)传输文件和数据）
- support for anonymous or authenticated rsync daemons (ideal for mirroring)（支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像）
来源官网
2.rsync的工作方式
1)单个主句本地之间数据传输（此时类似于cp命令）
rsync本地传送模式的语法是：rsync [option…] src…[dest]
rsync为同步的命令，[option]为同步时的参数选项，src为源，即待拷的分区，文件或者目录等，[dest]为目的分区文件或者目录等
ll /data <#删除前看一下
midir /null <#创建一个空目录 rsync -r --delete /null /data/
ll /data <#删除完后看一下
2)借助rcp,ssh等通道传输数据（此时类似于scp命令）
ssh-key中的scp回顾
scp -P 521 -rp -- /etc/hosts king@192.168.17: /tmp <# -P 跟端口号 用户名@ ip ：目标文件
rsync借助ssh通道拉取
rsync -avzP -e ‘ssh -p 22’ king@192.168.17:/opt /tmp <#-e 'ssh -p 22'表示通过ssh通道传送数据，-p22可略
3)以守护进程（socket）的方式传输数据（这个是rsync自身的重要功能）
3.rsync命令使用，参数说明
-v, –verbose 详细模式输出
-z, –compress 对备份的文件在传输时进行压缩处理
-a, –archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, –recursive 对子目录以递归模式处理
-t, –times 保持文件时间信息
-o, –owner 保持文件属主信息
-g, –group 保持文件属组信息
-p, –perms 保持文件权限
-R, –relative 使用相对路径信息
-b, –backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。
–backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, –update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, –links 保留软链结
-L, –copy-links 想对待常规文件一样处理软链结
–copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
–safe-links 忽略指向SRC路径目录树以外的链结
-H, –hard-links 保留硬链结
-q, –quiet 精简输出模式
-D, –devices 保持设备文件信息
-S, –sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, –dry-run 现实哪些文件将被传输
-W, –whole-file 拷贝文件，不进行增量检测
-x, –one-file-system 不要跨越文件系统边界
-B, –block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, –rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
–rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, –cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
–existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
–delete 删除那些DST中SRC没有的文件
–delete-excluded 同样删除接收端那些被该选项指定排除的文件
–delete-after 传输结束以后再删除
–ignore-errors 及时出现IO错误也进行删除
–max-delete=NUM 最多删除NUM个文件
–partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
–force 强制删除目录，即使不为空
–numeric-ids 不将数字的用户和组ID匹配为用户名和组名
–timeout=TIME IP超时时间，单位为秒
-I, –ignore-times 不跳过那些有同样的时间和长度的文件
–size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
–modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T –temp-dir=DIR 在DIR中创建临时文件
–compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 –partial
–progress 显示备份过程
–exclude=PATTERN 指定排除不需要传输的文件模式
–include=PATTERN 指定不排除而需要传输的文件模式
–exclude-from=FILE 排除FILE中指定模式的文件
–include-from=FILE 不排除FILE指定模式匹配的文件
–version 打印版本信息
–address 绑定到特定的地址
–config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
–port=PORT 指定其他的rsync服务端口
–blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
–progress 在传输时现实传输过程
–log-format=formAT 指定日志文件格式
–password-file=FILE 从FILE中得到密码
–bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, –help 显示帮助信息
很多对吧？简单工作中我就只用过avz，哈哈哈
4.rsync服务端，客户端安装配置
1）服务端安装配置
以守护进程（socket）的方式传输数据
[king@rsyncserver ~]$ rpm -qa rsync #查看是否安装rsync rsync-3.0.6-9.el6_4.1.x86_64 [king@rsyncserver ~]$ vim /etc/rsyncd.conf #/etc/rsyncd.conf默认是不存在的，所以我们要创建它并编辑它 #rsync_config_______________start ##rsyncd.conf start## uid = rsync #rsync使用的用户，缺省uid为-2，通常为 nobody gid = rsync #rsync使用的组（用户所在的组）缺省gid为-2，通常为nobody use chroot = no max connections = 200 #设置最大的连接数，默认为0，就是无限制，负值为关闭这个模块 timeout = 60 #默认为0，连接超时， pid file = /var/run/rsyncd.pid #rsync daemon启动后将其进程PID写入此文件 lock file = /var/run/rsync.lock #锁的机制 log file = /var/log/rsyncd.log #日志配置文件，报错我们查看他它 [king] #用户模块 path = /king/ #用户共享的文件 ignore errors #错误忽略（i/o） read only = false #指定客户端是否可以上传文件，默认对所有模块都为true list = false #不显示列表 hosts allow = 192.168.1.7/24 #指定可以联系的客户端用户名和ip，address/mask hosts deny = 0.0.0.0/32 #默认是没哟 auth users = rsync_backup #auth users指定以空格或者， 分隔的用户可以使用那些模块 secrets file = /etc/rsync.password #secrets file 指定用户名和密码的文件 格式 用户名：密码 #rsync_config_______________end ~ [root@rsyncserver /]# chown -R rsync.rsync king/ #创建共享目录，并让rsync用户可以管理king [root@rsyncserver ~]# chmod 600 /etc/rsync.password #用户密码文件只能是600 [root@rsyncserver king]# ls -lh /etc/rsync.password -rw-------. 1 root root 19 9月 21 10:15 /etc/rsync.password [root@rsyncserver ~]# cat /etc/rsync.password #查看用户密码文件,注意其格式 rsync_backup:king [root@rsyncserver ~]# rsync --daemon #启动rsync服务,如果想要重启服务的话,先用pkill rsync杀掉进程然后再执行此操作 [root@rsyncserver ~]# ps -ef|grep rsync|grep -v grep root 1670 1 0 13:56 ? 00:00:00 rsync --daemon 注意：要关闭防火墙和selinux [king@rsyncserver .ssh]$ sudo /etc/init.d/iptables stop [king@rsyncserver .ssh]$ sudo getenforce Enforcing [king@rsyncserver .ssh]$ sudo setenforce 0 [kingy@rsyncserver .ssh]$ getenforce Permissive
2）客户端安装配置
[root@rsyncclient ~]# rpm -qa rsync rsync-3.0.6-9.el6_4.1.x86_64 [root@rsyncclient ~]# vim /etc/rsync.password [root@rsyncclient ~]# chmod 600 /etc/rsync.password [root@rsyncclient ~]# useradd -s /sbin/nologin rsync [root@rsyncclient ~]# cat /etc/rsync.password king
3）同步
Local: rsync [OPTION...] SRC... [DEST] Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST pull: [root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.7::king /data --password-file=/etc/rsync.password receiving incremental file list ./ a b sent 105 bytes received 224 bytes 658.00 bytes/sec total size is 8 speedup is 0.02 push: [root@rsyncclient ~]# rsync -avz /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #注意/data后面有斜杠和没斜杠的区别：没有斜杠的话将目录一块同步，有斜杠的话只同步目录下面的内容。
5.–exclude参数
1）只排除一个文件不同步
rsync -avz --exclude=1 rsync_backup@192.168.1.7::king /data/ --password-file=/etc/rsync.password
–exclude= 文件名字 rsync_backup是你/etc/rsyncd.conf文件里配置的auth users = rsync_backup @ip king 是你/etc/rsyncd.conf文件里配置的[king]，–password-file=/etc/rsync.password即为读取你的密码文件，注意你的密码文件权限必须是600，且格式必须是类似键值对的形式存在，（用户：密码）
2）排除多个文件不同步
方法一： rsync -avz --exclude={1,2} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字用逗号隔开}
方法二：
rsync -avz --exclude={1..3} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字，这是文件名连续的文件}
方法三：
rsync -avz --exclude=1 --exclude=2 /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #多个--exclude=文件名字，虽然麻烦，不失为方法。
3）无差异同步：–delete参数
一般是有需要在俩台服务器之间，必须要求数据同步，且实时性又不是很高的情况下，如：俩台负载均衡下面的web服务器之间的同步，或者高可用双机配置之间的同步等，rsync无差异同步很危险切记。