基于rsync+sersync的服务器文件同步实战


N年前的业务,现在发现使用FTP远程发布变得相当的低效率,性能差安全性又不是很高。网络上不乏存在许多关于数据同步的文档,其中一篇《rsync+inotify实现服务器之间文件实时同步》文章吸引我的注意,按照这篇文档的思路进行业务上的扩展,后面再发现金山一位工程师开发了一款《sersync》深受欢迎和鼓舞,利用前人制造的好的轮子对现有业务进行拆分和实施。

现有业务上的服务器列表

服务器A(主服务器)IP:192.168.28.1
服务器B(从服务器/备份服务器)IP:192.168.28.88
……

业务的要求就是在A服务器上操作一个文件(增删改),实时同步到B服务器中。也就是保证B服务器要与A服务器上面的文件要时刻保持一致。
为了达到上述业务要求,按照正常测试逻辑我们还是先对服务器B进行相关配置,因为服务器B是作为备份服务器所以在B服务器上我们只需要安装rsync软件即可。

在服务器B上安装rsync

cd /opt/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.0.tar.gz
tar zxf rsync-3.1.0.tar.gz
cd rsync-3.1.0
./configure
make && make install

至此你已经在服务器B上成功安装rsync,可以在试着输入下rsync命令。

在服务器B上配置rsync的认证密码

现在你该配置rsync服务了。

#创建rsync认证文件  markdream是用户名 123456是密码 注意中间以“:”分割
echo "markdream:123456" > /opt/authz/rsync.pas
#将密码文件设置600 避免报错
chmod 600 /opt/authz/rsync.pas

设置rsync的配置文件

vi /etc/rsyncd.conf

服务器B上的rsyncd.conf文件内容

uid=root
gid=root
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock

#website同步模块
[website]
uid=root
gid=root
path=/home/website #同步到B服务器的文件存放的路径
comment  = markdream website  #注释
ignore errors = yes #忽略错误
read only = no # 只读
hosts allow =  192.168.28.1/24 #只允许IP 192.168.28.1进行同步
hosts deny = *
auth users = chnpony  #同步的用户名
secrets file = /opt/authz/rsync.pas   #密码文件

启动服务器B上的rsync服务

rsync --daemon"

最后一步我们把rsync服务器设置开机启动

echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local

到这里服务器B上面的rsync配置完毕,下面开始服务器A(主服务器的配置)

服务器A(主服务器)配置

由于是主服务器,用到的不只是rsync还需要安装inotify-tools软件再加上sersync软件,总体来说比从服务器需要的软件要多。
我们还是先在服务器A(主服务器)上安装rsync,可以直接按找上面的方式进行安装即可。

服务器A:安装inotify-tools

inotify-tools是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多。学习如何将 inotify 集成到您的应用程序中,并发现一组可用来进一步自动化系统治理的命令行工具。

cd /opt/src
wget https://github.com/rvoicilas/inotify-tools/archive/master.zip -O inotify-tools-master.zip
cd inotify-tools-master
./autogen.sh
 ./configure
 make && make install

到这里你已经安装完毕inotify-tools,下面我们再来安装下这个sersync软件

服务器A:安装sersync

sersync主要用于服务器同步,web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。本项目优点是:
sersync是使用c++编写,而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤(详细见附录,这个过滤脚本程序没有实现),所以在结合rsync同步的时候,节省了运行时耗和网络资源。因此更快。

cd /opt/src
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
mv /opt/src/GNU-Linux-x86/ /opt/sersync
cd /opt/sersync
#配置下密码文件,因为这个密码是要访问服务器B需要的密码 和上面服务器B的密码必须一致
echo "123456" > /opt/sersync/user.pas
#同样也要设置600
chmod 600 /opt/sersync/user.pas
#我们创建一个服务器A上要同步到B服务器的路径
mkdir /home/webroot

在/opt/sersync/目录里面有个叫confxml.conf文件,我们把他们修改成这样的话就可以使用了。

服务器A:配置confxml.conf文件

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
 <host hostip="localhost" port="8008"></host>
 <debug start="true"/>
 <fileSystem xfs="false"/>
 <filter start="false">
 <exclude expression="(.*)\.php"></exclude>
 <exclude expression="^data/*"></exclude>
 </filter>
 <inotify>
 <delete start="true"/>
 <createFolder start="true"/>
 <createFile start="false"/>
 <closeWrite start="true"/>
 <moveFrom start="true"/>
 <moveTo start="true"/>
 <attrib start="false"/>
 <modify start="false"/>
 </inotify>

 <sersync>
 <localpath watch="/mnt/webroot"> <!-- 这里填写服务器A要同步的文件夹路径-->
 <remote ip="192.168.28.88" name="website"/> <!-- 这里填写服务器B的IP地址和模块名-->
 <!--<remote ip="192.168.28.39" name="tongbu"/>-->
 <!--<remote ip="192.168.28.40" name="tongbu"/>-->
 </localpath>
 <rsync>
 <commonParams params="-artuz"/> 
 <auth start="true" users="markdream" passwordfile="/opt/sersync/user.pas"/> <!-- markdream+密码文件 这里填写服务器B的认证信息-->
 <userDefinedPort start="false" port="874"/><!-- port=874 -->
 <timeout start="false" time="100"/><!-- timeout=100 -->
 <ssh start="false"/>
 </rsync>
 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
 <crontab start="false" schedule="600"><!--600mins-->
 <crontabfilter start="false">
 <exclude expression="*.php"></exclude>
 <exclude expression="info/*"></exclude>
 </crontabfilter>
 </crontab>
 <plugin start="false" name="command"/>
 </sersync>

 <!-- 下面这些有关于插件你可以忽略了 -->
 <plugin name="command">
 <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
 <filter start="false">
 <include expression="(.*)\.php"/>
 <include expression="(.*)\.sh"/>
 </filter>
 </plugin>

 <plugin name="socket">
 <localpath watch="/home/demo">
 <deshost ip="210.36.158.xxx" port="8009"/>
 </localpath>
 </plugin>
 <plugin name="refreshCDN">
 <localpath watch="/data0/htdocs/cdn.markdream.com/site/">
 <cdninfo domainname="cdn.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
 <sendurl base="http://cdn.markdream.com/cms"/>
 <regexurl regex="false" match="cdn.markdream.com/site([/a-zA-Z0-9]*).cdn.markdream.com/images"/>
 </localpath>
 </plugin>
</head>

好到这里你已经配置好sersync软件了,我们来运行它

cd /opt/sersync
./sersync2 -r -d

你现在可以去服务器A的/home/webroot目录下面进行添加文件,看看效果,为了保证能够正常通信,请先关闭你的防火墙(主要是服务器B)!!!

service iptables stop

我们还可以在A服务器上设置sersync开机启动

echo "/opt/sersync/sersync2 -r -d -o /opt/sersync/confxml.xml" >> /etc/rc.local

效果展示

sersync

相关参考

http://dl528888.blog.51cto.com/2382721/771533/

http://blog.johntechinfo.com/sersyncguild

,

《“基于rsync+sersync的服务器文件同步实战”》 有 6 条评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

评论审核已启用。您的评论可能需要一段时间后才能被显示。