当前位置：文档之家 › rsync+inotify实时同步

rsync+inotify实时同步

  • 格式：doc
  • 大小：252.50 KB
  • 文档页数：6

rsync+inotify实时同步 1.安装环境 操作系统：rhel5.5 64位 软件：rsync-2.6.8-3.1, inotify-tools-3.14 安装结构图：

RsyncRsyncInotify+Rsync源端

Rsync目标端

Rsync目标端AB

C 假设每台机器上需要同步的目录及文件属主为test:test。Test用户的密码也为test。 2.安装配置rsync

三台服务器均要配置rsync，默认系统安装的话： rpm -q rsync rsync-2.6.8-3.1

2.1 在B和C服务器上配置：

1.B和C服务器需要启动Rsync服务，添加Rsync配置文件：vi /etc/rsyncd.conf(root用户) uid=test gid=test use chroot=no max connections=200 timeout=600 pid file=/var/run/rsyncd.pid lock file=/var/run/rsyncd.lock log file=/var/log/rsyncd.log #或者用log file=/dev/null不记录日志 [backup] path=/usr/local/test ignore errors read only=no list=no hosts allow=172.16.41.0/255.255.255.0 auth users=test secrets file=/etc/rsyncd.password 2. 修改vi /etc/xinetd.d/rsync 将disable改成no。（root用户） 3. 修改vi /etc/xinetd.d/rsync ，增加log_type = file /dev/null 4. echo "test:test" >/etc/rsyncd.password（root用户） 5. chmod 600 /etc/rsyncd.password 6. service xinetd restart，启动后用netstat –nat查看873端口是否LISTEN。

2.2 在A服务器上的配置

1. A服务器不用启动rsync服务，直接添加密码文件：echo "test" >/etc/rsyncd.password 2.chown test:test /etc/rsyncd.password 3.chmod 600 /etc/rsyncd.password

3.在A服务器上配置inotify

1. tar zxvf inotify-tools-3.14.tar.gz（root用户） 2. cd inotify-tools-3.14（root用户） 3. ./configure --prefix=/usr/local/inotify（root用户） 4. make && make install（root用户） 5. chown –R test:test /usr/local/inotify（root用户） 6. 编写inotify脚本： vi /usr/local/inotify/rsync.sh #!/bin/bash src=/usr/local/test/ des=backup ip1=172.16.41.105 ip2=172.16.41.25 /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src | while read D E F do rsync -vzrtopg --delete $src test@$ip1::$des --password-file=/etc/rsyncd.password && echo "$ip1 $src was rsynced" rsync -vzrtopg --delete $src test@$ip2::$des --password-file=/etc/rsyncd.password && echo "$ip2 $src was rsynced" done 7. 可在A服务器上用如下命令先行测试A-B和A-C是否正常同步（test用户执行）： rsync -vzrtopg --delete /usr/local/test/ test@172.16.41.25::backup --password-file=/etc/rsyncd.password 8. 后台运行编辑的脚本（test用户在/usr/local/inotify下执行，日志输出文件为nohup.out）： nohup /usr/local/inotify/rsync.sh & nohup /usr/local/inotify/rsync_upload.sh > upload.out 2>&1 & nohup /usr/local/inotify/rsync_index.sh > index.out 2>&1 & 9. 启动完成后会有如下三个进程 apache 24197 24160 0 11:37 pts/1 00:00:00 /bin/bash /usr/local/inotify/rsync.sh apache 24198 24197 0 11:37 pts/1 00:00:00 /usr/local/inotify/bin/inotifywait -mrq --timefmt %d/%m/%y %H:%M --format %T %w%f -e modify,delete,create,attrib,moved_from,moved_to /usr/local/apache2.2.19/htdocs/ apache 24199 24197 0 11:37 pts/1 00:00:00 /bin/bash /usr/local/inotify/rsync.sh 10. 如果需要重启，需要将三个进程KILL。 说明: Inotify文件操作状态： Inotify可以监视的文件系统事件包括： IN_ACCESS： 即文件被访问。 IN_MODIFY： 文件被write。 IN_ATTRIB： 文件属性被修改，如chmod、chown、touch等。 IN_CLOSE_WRITE： 可写文件被close。 IN_CLOSE_NOWRITE： 不可写文件被close。 IN_OPEN： 文件被open。 IN_MOVED_FROM： 文件被移走，如mv。 IN_MOVED_TO： 文件被移来，如mv、cp。 IN_CREATE： 创建新文件。 IN_DELETE： 文件被删除，如rm。 IN_DELETE_SELF： 自删除，即一个可执行文件在执行时删除自己。 IN_MOVE_SELF： 自移动，即一个可执行文件在执行时移动自己。 IN_UNMOUNT： 宿主文件系统被umount。 IN_CLOSE： 文件被关闭，等同于(IN_CLOSE_WRITEIN_CLOSE_NOWRITE)。 IN_MOVE： 文件被移动，等同于(IN_MOVED_FROMIN_MOVED_TO)。 注意 上面所说的文件也包括目录。 Rsync 参数选项说明 -v, --verbose 详细模式输出 -q, --quiet 精简输出模式 -c, --checksum 打开校验开关，强制对文件传输进行校验 -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD -r, --recursive 对子目录以递归模式处理 -R, --relative 使用相对路径信息

rsync foo/bar/foo.c remote:/tmp/

Rsync 参数在/tmp目录下创建foo.c文件，而如果使用-R参数： rsync -R foo/bar/foo.c remote:/tmp/ Rsync 参数会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。 -b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 --backup-dir 将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX 定义备份文件前缀 -u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链结 -H, --hard-links 保留硬链结 -p, --perms 保持文件权限 -o, --owner 保持文件属主信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -W, --whole-file 拷贝文件，不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节 -e, --rsh=COMMAND 指定替代rsh的shell程序 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件 --existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件 --delete 删除那些DST中SRC没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除

合集下载

Jumpserver双机高可用环境部署笔记

Jumpserver双机高可用环境部署笔记

Jumpserver双机⾼可⽤环境部署笔记之前在IDC部署了Jumpserver堡垒机环境，作为登陆线上服务器的统⼀⼊⼝。

后⾯运⾏⼀段时间后，发现Jumpserver服务器的CPU负载使⽤率⾼达80%以上，主要是python程序对CPU的消耗⽐较⼤，由于是单机部署，处于安全考虑，急需要部署⼀套Jumpserver双机⾼可⽤环境，实现LB+HA的降低负载和故障转移的⽬的。

以下记录了环境部署的过程：如下进⾏调整后，之前的jumpserver⽤户名、秘钥、密码等信息都不会变，只需要将ssh连接的地址改为ssh端⼝负载均衡的vip地址即可！也就是说对于⽤户来说，只需要修改登录ip地址，其他的都不受影响！1）环境准备192.168.10.20 之前的单机版jumpserver，作为master主机192.168.10.21 新加的jumpserver，作为slave从机jumpserver机器的ssh端⼝统⼀调整为8888web访问的80端⼝负载是7层负载，通过Nginx+keepalived实现，域名为ssh端⼝的负载是4层负载，也可以通过nginx的stream实现，（我在线上⽤的nginx+keepalived负载层并没有安装stream模块，为了不影响线上业务，另配置了lvs+keepalived）2）部署jumpserver备机（192.168.10.21）的jumpserver环境参考：/kevingrace/p/5570279.html3）配置jumpserver主机和备机的mysql主主同步环境（先将master主机的jumpserver库数据同步到slave主机的mysql⾥⾯）参考这篇⽂章中的mysql主主同步配置：/kevingrace/p/6710136.html4）同步⽂件，使⽤rsync+inotify实时同步，或使⽤rsync+crontab短时间定时同步（需要提前做192.168.10.20和192.168.10.21两台机器的ssh⽆密码登陆的信任关系）同步系统⽂件/etc/passwd、/etc/shaow、/etc/group⽂件同步jumpserver相关⽤户以及key⽂件：jumpserver/keys同步⽤户家⽬录的home⽬录注意：为了防⽌⽂件被强⾏覆盖掉，这⾥只能做单⽅向的⽂件同步，不能做双向同步，否则会出现：在其中⼀台机器的jumpserver界⾯⾥创建好⽤户后，但是在jumpserver服务器上的/etc/passwd⽂件⾥却没有该⽤户信息，因为被对⽅机器的同步强⾏覆盖掉了。

rsync指定ssh端口进行文件同步的方法

rsync指定ssh端口进行文件同步的方法

rsync指定ssh端⼝进⾏⽂件同步的⽅法有台服务器因为安全性需要，修改了默认的ssh端⼝为34778端⼝。

因此rsync使⽤ssh同步的时候需要指定ssh的端⼝rsync提供了⼀个-e参数-e参数的作⽤是可以使⽤户⾃由选择想使⽤的shell程序来连接远端服务器，因此也可以设置成使⽤默认的ssh来连接，这样我们就可以加⼊ssh的参数了具体语句写法如下：rsync -e 'ssh -p 34778' username@hostname:SourceFile DestFile单引号，⽬的是为了使引号内的参数为引号内的命令所⽤实例：rsync -auz -e 'ssh -p 43378' /data/svn/ root@192.168.1.254:/data/backup详解：通过rsync，并使⽤auz参数，结合-e修改ssh的端⼝，将本地的/data/svn作为源数据，⽤root⽤户推到远端服务器192.168.1.254的/data/backup⽬录下。

需要注意的是源⽬录和⽬标⽬录是否带"/"结尾是有很⼤区别的源⽬录带"/"结尾⽽⽬标⽬录不带，表⽰将源⽬录⾥⾯的所有⽂件（/data/svn/*）都同步到⽬标⽬录下（/data/backup/*）。

源⽬录带"/"结尾⽽⽬标⽬录也带“/”结尾，则表⽰将源⽬录作为⽂件夹，同步到⽬标⽬录下（/data/backup/svn/*）。

端⼝攻击之873端⼝rsync默认⼝令漏洞1、简介：rsync是Unix下的⼀款应⽤软件，它能同步更新两处计算机的⽂件与⽬录，并适当利⽤差分编码以减少数据传输。

2、Rsync使⽤教程：⽤途：当成镜像备份功能。

优点：速度快，可对⽐本地⽂件，差异备份。

⽤法：1、将/etc/内复制到/tmp/etcrsync –av /etc /tmp2、将rsh.server的/etc 复制到本地 /tmprsync –av –e ssh user@rsh.server:/etc /tmp3、通过rsync提供的服务（daemon），rsync使⽤873端⼝Server:启动rsync，看：/etc/xinetd.d/rsync编辑：/etc/rsyncd.conf设置client端连接账号密码Client:rsync –av –user@hostname::/dir/path /local/path三种模式差异在⼏个分号 :命令：Rsync [-avrlptgoD] [-e ssh] [user@hostIP:/dir] [/local/path]-v 观察模式，输出更多资讯-q 与 –v 相反，仅显⽰错误信息-r 递归复制，针对⽬录-u 仅更新较新的⽂件-l 复制连接的属性-p 复制时保持属性不变-g 保存原有群组-o 保存原有拥有⼈-D 保存原有装置属性-t 保存原有时间属性-I 忽略更新时间属性，档案⽐对较快-z 加上压缩参数-e 使⽤协议通道，例如ssh，-e ssh-a 相对于-rlptgoD，所以-a最常⽤3、安全问题：rsync默认的端⼝是873，可以使⽤nmap扫描IP是否开放该端⼝。

rsync命令使用方法

rsync命令使用方法

rsync命令使用方法rsync命令是一个用于同步文件和目录的工具，它可以在本地和远程系统之间进行文件传输。

以下是rsync命令的使用方法：1. 语法：rsync [选项] 原始位置目标位置2. 常用选项：-a：归档模式，递归并保留对象属性，等同于 -rlptgoD-v：显示同步过程的详细（verbose）信息-z：在传输文件时进行压缩（compress）-H：保留硬链接文件-A：保留ACL属性--delete：删除目标位置有而原始位置没有的文件-r：递归模式，包含目录及子目录中所有文件-l：对于软链接文件仍然复制为软链接文件-p：保留文件的权限标记-t：保留文件的时间标记-g：保留文件的属组标记（仅超级用户使用）-o：保留文件的属主标记（仅超级用户使用）-D：保留设备文件及其他特殊文件3. 使用示例：本地到本地同步：rsync -av /source/directory/ /destination/directory/ 本地到远程同步：rsync -avz /source/directory/ usernameremote:/destination/directory/远程到本地同步：rsync -avz usernameremote:/source/directory//destination/directory/从远程rsync服务器中拷贝文件到本地机：rsync -avz/destination/directory/4. 注意点：rsync命令的路径可以是相对路径或绝对路径。

可以通过SSH协议在本地和远程系统之间进行加密传输。

rsync命令支持增量备份和镜像备份。

5. 总结：rsync命令是一个功能强大的文件同步工具，它可以用于本地和远程系统之间的文件传输，支持各种选项和参数，可以根据需要进行定制。

通过合理使用rsync命令，可以轻松地实现文件和目录的备份、同步和镜像等操作。

Sersync应用与配置说明

Sersync应用与配置说明

Sersync应⽤与配置说明注意：***开启过滤规则后，整体-r同步和整体同步机制⽆效，最好启动前先命令整体同步⼀次***# 先安装扩展包源，否则inotify-tools找不到yum install epel-releaseyum install inotify-tools服务器：2台，分别标识为A,B，其中A为客户端，B为服务端，sersync安装在A机，监视⽂件变化，实时推送到B服务器上。

A机地址：192.168.1.37B机地址：192.168.1.34同步⽬录：/opt/software⼆、配置说明：1、A、B分别更新rsync⾄3.0.7版本,B机以守护进程的⽅式。

2、B机安装并开启rsync服务，端⼝默认为TCP 873。

3、A机上安装sersync，但也是以rsync能正常⼯作为前提rsync的升级与安装配置，详见：rsync的部署⽂档。

三、安装步骤：1、分别为A,B两机安装 rsync2、安装sersync如果使⽤linux 系统，⼀般情况下，不需要编译，直接使⽤bin⽬录下的可执⾏⽂件和xml配置⽂件即可。

当然已可以编译安装，src⽬录下放的是源码，lib⽬录下是需要的静态库，bin⽬录是最后⽣成的⼆进制⽂件，在sersync ⽬录下执⾏make命令，就会将⽣成的2进制⽂件放⼊bin⽬录下。

只要配置⽂件和sersync命令属于同⼀⽬录下，那么直接执⾏./sersync 即可,如果不在同⼀⽬录下，那么要⽤-o参数指定xml配置⽂件所在位置。

要注意的有这么⼏个地⽅：1，本地IP和端⼝2，本地同步路径3，远程主机的IP4，是否开启密码认证5，重试间隔6，如果有多个⽬录需要监视和同步，则建⽴多个xml配置⽂件，⽤sersync -o file.xml分别执⾏。

五、运⾏1、执⾏命令：./sersync2 -r -d 启动sersyncr是先执⾏⼀遍完整同步，d是后台运⾏，稍后介绍所有启动参数。