Linux当中的Sersync实时同步服务及其实战举例

目录

一、实时同步

1.定义

2.原理

3.实时同步场景

4.实时同步工具

(1)sersync

(2)Lysncd

二、实时同步实例

1.环境规划

2.配置思路

NFS存储服务如下:

(1)安装NFS

(2)配置NFS

(3)根据配置创建用户、目录以及授权

(4)启动NFS

4.配置Web服务

web服务器操作如下

(1)安装httpd、php

(2)配置httpd进程运行的身份(最好是和NFS的匿名用户保持一致)

(3)客户端挂载

(4)上传程序代码

(5)启动

(6)修改上传大小并重启服务(扩展项)

5.配置备份服务

备份服务器操作如下:

(1)安装Rsync

(2)配置rsync

(3)根据配置准备对应的用户、目录、权限

(4)重启Rsync

6.配置实时同步

NFS服务器操作如下

(1)安装sersync

(2)配置sersync

7.启动sersync,若需要同步多个目录,那么需要编写多个配置文件并启动

8.启动serync后一定要提取同步命令,手动运行一次,检查是否存在错误

9.停止sersync

10.使用lsyncd工具进行实时同步

(1)安装sersync、lsyncd

         (2)配置lsyncd、监控本地目录、触发则立即同步

(3)创建密码文件

11.平滑迁移场景

(1)NFS和backup两台服务器应该保持一致(NFS权限,共享目录)

         (2)启动NFS服务

         (3)修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

(4)进行一次数据推送,然后模拟NFS故障(挂起虚拟机)


 

一、实时同步

1.定义

只要当前目录发生变化则会触发一个时间,事件触发后将变化的目录同步至远程服务器。

2.原理

需要借助Inotify通知接口,用来监控本地目录的变化,若监控本地的目录发生变更,则触发动作,这个动作可以是进行同步操作,或其他操作

3.实时同步场景

(1)解决NFS单点故障,保证同步的数据连续性。NFS——Backup

(2)本地无缝迁移云端

4.实时同步工具

(1)sersync

是国人基于rsync+inotify基础之上开发的工具,强化了实时监控,文件过滤,简化配置等功能,帮助用户挺高运行效率,节省时间和网络资源。

(2)Lysncd

是一款开源的数据实时同步工具,基于inotify和rsync基础之上开发的,主要用于的网站备份,网站搬家等等

二、实时同步实例

1.环境规划

角色

外网

内网

工具

web01

eth:10.0.07

eth1:172.16.1.7

httpd,php

nfs-sever

eth0:10.0.0.32

eth1:172.16.1.32

nsf,sersyn

backup

eth0:10.0.0.31

eth1:172.16.1.31

rsync-server

2.配置思路

1.模拟用户通过程序上传视频至web,实际是写入至nfs服务器中

2.在备份服务器上新增data 模块,便于nfs的数据实时同步至备份服务器的 data 模块

3.配置sersync实时同步,将nfs的数据实时的同步到备份服务器/data目录

3.配置NFS存储

NFS存储服务如下:

(1)安装NFS

yum install nfs-utils -y

(2)配置NFS

[root@nfs ~] cat /etc/exports /data 
172.16.1.0/24(rw,sync,all_squash,anonuid=66 6,anongid=666)

(3)根据配置创建用户、目录以及授权

[root@nfs ~] groupadd -g666 www [root@nfs ~]# useradd -u666 -g666 www 
[root@nfs ~] mkdir /data [root@nfs ~]# chown -R www.www /data

(4)启动NFS

[root@nfs ~] systemctl restart nfs-server

[root@nfs ~] sysytemctl enable nfs-server

4.配置Web服务

web服务器操作如下

(1)安装httpd、php

[root@web01 ~] yum install httpd php -y

(2)配置httpd进程运行的身份(最好是和NFS的匿名用户保持一致)

[root@web01 html] sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf

[root@web01 htm1] sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf

(3)客户端挂载

[root@web01 ~] mount -t nfs 172.16.1.32: /data /var/www/html

(4)上传程序代码

[root@web01 ~] cd/var/www/html/

[root@web01 html] wget http://cdn.xuliangwei.com/kaoshi.zip

[root@web01 htm7]  unzip kaoshi.zip

(5)启动

[root@web01 ~] systemctl start httpd

(6)修改上传大小并重启服务(扩展项)

[root@web01 ~] vim /etc/php.ini 
upload_max_filesize = 200M;
post_max_size = 200M; 

[root@web01 ~] systemctl restart httpd

5.配置备份服务

备份服务器操作如下:

(1)安装Rsync

yum install rsync -y

(2)配置rsync

[root@backup ~] cat /etc/rsyncd.conf

uid = www

gid = www

port = 873

fake super = yes

use chroot = no

max connections = 200

timeout = 600

read only = false

list = true

auth users = rsync_backup

secrets file = /etc/rsync.passwd

log file = /var/log/rsyncd.log

#####################################

[backup]

path /backup

[data]

path = /data

(3)根据配置准备对应的用户、目录、权限
 

[root@backup ~] groupadd -g666 www
[root@backup ~] useradd -u666 -g666 www
[root@backup ~] cat /etc/rsync.passwd rsync_backup:123456
[root@backup ~] chmod 600 /etc/rsync.passwd
[root@backup ~] mkdir -p /data /backup
[root@backup ~] chown -R www.www /data/ /backup/

(4)重启Rsync

systemctl restart rsync

6.配置实时同步

NFS服务器操作如下

(1)安装sersync

yum install rsync inotify-tools -y
[root@nfs ~] wget https://raw.githubusercontent.com/wsgzao/se rsync/master/sersync2.5.4_64bit_binary_stab le_final.tar.gz 
[root@nfs ~] tar xf sersync2.5.4_64bit_binary_stable_final.tar. gz 
[root@nfs ~] mv GNU-Linux-x86/ /usr/local/sersync

(2)配置sersync

[root@nfs01 tools] cd /usr/local/sersync/
[root@nfs01 sersync] cp confxml.xml confxml.bak 
[root@nfs01 sersync] vim confxml.xml

[root@nfs01 sersync] vim confxml.xml 
5 <filesystem xfs="true"/> <!-- 文件 系统-->
 6 <filter start="false"> <!--排除不想 同步的文件--> 
7 <exclude expression=' (.*)\.svn"></exclude> 
8 <exclude expression="(.*)\.gz"> </exclude>
9.<exclude expression="^info/*"> </exclude> 
10 <exclude expression="^static/*"></exclude> 
11 </filter> 
12 <inotify> <!-- 监控的事件类型--> 
13 <delete start="true"/> 
14 <createFolder start="true"/> 
15 <createFile start="true"/> 
16 <closewrite start="true"/> 
17 <moveFrom start="true"/> 
18 <moveTo start="true"/> 
19 <attrib start="false"/> 
20 <modify start="true"/> 
21 </inotify>

23 <sersync> 
24 <localpath watch="/data"> <!-- 监控的目录--> 
25 <remote ip="172.16.1.41" name="data"/> <!--backup的IP以及模块-->
28 </localpath> 29 <rsync> <!--rsync的选项 --> 
30 <commonParams params="- az"/> 
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/> 
32 <userDefinedPort start="false" port="874"/><!-- port=874--> 
33 <timeout start="true" time="100"/><!-- timeout=100 34 <ssh start="false"/> 
35 </rsync> <!--每60分钟执行一次同步--> 
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/> <!--def ault every 60mins execute once-->

7.启动sersync,若需要同步多个目录,那么需要编写多个配置文件并启动

[root@nfs ~] /usr/local/sersync/sersync2 dro /usr/local/sersync/confxml.xml

8.启动serync后一定要提取同步命令,手动运行一次,检查是否存在错误

[root@nfs ~] cd /data && rsync -az -R delete ./ --timeout=100 rsync_backup@172.16.1.31::data --password- file=/etc/rsync.pass

9.停止sersync

[root@nfs data] pkill sersync

10.使用lsyncd工具进行实时同步

(1)安装sersync、lsyncd

yum install rsync inotify-tools lsyncd -y

(2)配置lsyncd、监控本地目录、触发则立即同步

[root@nfs ~] cat /etc/1syncd.conf 
settings 
 { logfile = "/var/log/1syncd/1syncd.log", 
   statusFile = "/var/log/1syncd/1syncd.status",
   inotifyMode = "CloseWrite", maxProcesses = 8, 
} 
sync 
{
  default.rsync, source = "/data", 
  target = "rsync_backup@172.16.1.31::data", 
  delete= true, 
  delay = 1 -同步事件时间1s 
  rsync= { binary = "/usr/bin/rsync", 
          archive = true, 
         compress = true, 
          verbose = true, 
    password_file = "/etc/rsync.pass" _extra = {"--bwlimit=200"} } 
} 


[root@nfs ~] echo "123">/etc/rsync.pass

(3)创建密码文件

[root@nfs ~] chmod 600 /etc/rsync.pass 
[root@nfs ~] systemctl start lsyncd.service

11.平滑迁移场景

当NFS出现故障时,如何进行快速切换,尽量不影响服务

(1)NFS和backup两台服务器应该保持一致(NFS权限,共享目录)

[root@backup ~] yum install nfs-utils -y 
[root@backup ~] rsync -avz root@172.16.1.32:/etc/exports /etc/ 
[root@backup ~] groupadd -g 666 www 
[root@backup ~] useradd -u666 -g666 www

(2)启动NFS服务

[root@backup ~] systemctl start nfs-server

(3)修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

[root@backup ~] vim /etc/rsyncd.conf uid=www gid = www 
[root@backup ~] chown -R www.www /data/ backup/

(4)进行一次数据推送,然后模拟NFS故障(挂起虚拟机)

在Web上实现平滑迁移,卸载NFS的/data目录,重新挂载bcakup服务的/data目录

[root@web01 ~] umount -1f /var/www/html/ && mount -t nfs 172.16.1.31: /data /var/www/html/


版权声明:本文为qq_60503432原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。