LVS-DR数据包流向分析

第一步

为方便进行原理分析,将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4

第二步

Client向目标VIP发出请求,Director(负载均衡器)接收

• IP包头及数据帧头信息

第三步

Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer 1的MAC地址,然后在局域网上发送

• IP包头及数据帧头信息
  

第四步

RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP)，于是处理这个报文。随后重新封装报文，发送到局域网

• IP包头及数据帧头信息

第五步

Client将收到回复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的

• 注意:如果跨网段，则报文通过路由器经由Internet返回给用户
  

LVS-DR中的ARP问题

1：在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同白的VIP地址
2：在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱

• 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到木同的网络上，它们都会接收到ARP广播
• 只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播

3：对节点服务器进行处理,使其不响应针对VIP的ARP请求

• 使用虚接口lo:0承载VIP地址
• 设置内核参数arp_ignore=1: 系统只响应目的IP为本地lP的ARP请求

4：RealServer返回报文(源IP是VIP经路由器转发,重新封装报文时,需要先获取路由器的MAC地址
5：发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP)作为ARP请求包中的源P地址，而不使用发送接口的IP地址如: ens33接口


6：路由器收到ARP请求后，将更新ARP表项
7：原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

8:问题

• 路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

解决方法

• 对节点服务器进行处理，设置内核参数arp announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

解决ARP的两个问题的设置方法

修改/etclsysctl.conf文件

• net.ipv4.conf.lo.arp ignore = 1
• net.ipv4.conf.lo.arp_announce = 2
• net.ipv4.conf.all.arp_ignore = 1
• net.ipv4.conf.all.arp_announce = 2

LVS-DR部署

实验环境

lvv-dr地址：192.168.100.10
web1地址 ：192.168.100.20
web2地址 ：192.168.100.30
nfs 地 址 ：192.168.100.40
client地址：192.168.100.50

nfs服务器配置

检查nfs所需软件是否安装

[root@nfs ~]# rpm -qa | grep nfs
nfs-utils-1.3.0-0.48.el7.x86_64
libnfsidmap-0.25-17.el7.x86_64
nfs4-acl-tools-0.3.3-15.el7.x86_64
[root@nfs ~]# rpm -qa | grep rpcbind
rpcbind-0.2.0-42.el7.x86_64

新建web挂载源目录

[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2

创建测试网页

[root@nfs ~]# echo "</h1>this is my web1.</h1>" > /web1/index.html
[root@nfs ~]# echo "</h1>this is my web2.</h1>" > /web2/index.html

设置共享目录

[root@nfs ~]# vi /etc/exports
/web1  192.168.100.20/32 (ro)
/web2  192.168.100.30/32 (ro)

开启服务并查看共享

[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl start rpcbind
[root@nfs ~]# showmount -e
Export list for nfs:
/web2 (everyone)
/web1 (everyone)

web1和web1配置

安装软件并挂载

[root@web1 ~]# yum -y install httpd
[root@web2 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.100.40:/web1 /var/www/html/
[root@web2 ~]# mount 192.168.100.40:/web2 /var/www/html/

开启服务并查看

[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
</h1>this is my web1.</h1>
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# curl http://localhost
</h1>this is my web2.</h1>

web1配置DR模式

[root@web1 ~]# vi web1.sh
#!/bin/bash
# lvs dr模式
ifconfig lo:0 192.168.100.100 broadcast 192.168.100.100 netmask 255.255.255.255 up
route add -host 192.168.100.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web1 ~]# chmod +x web1.sh
[root@web1 ~]# ./web1.sh 
[root@web1 ~]# ifconfig 
lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.100.100  netmask 255.255.255.255
        loop  txqueuelen 1  (Local Loopback)

执行完后增加了一条默认路由

[root@web1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.100.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.100.100 0.0.0.0         255.255.255.255 UH    0      0        0 lo #增加
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

web2配置DR模式

[root@web2 ~]# vi web2.sh
#!/bin/bash
# lvs dr模式
ifconfig lo:0 192.168.100.100 broadcast 192.168.100.100 netmask 255.255.255.255 up
route add -host 192.168.100.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web2 ~]# chmod +x web2.sh 
[root@web2 ~]# ./web2.sh 
[root@web2 ~]# ifconfig 
lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.100.100  netmask 255.255.255.255
        loop  txqueuelen 1  (Local Loopback)

执行完后增加了一条默认路由

[root@web2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.100.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.100.100 0.0.0.0         255.255.255.255 UH    0      0        0 lo
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

lvs-dr 配置

手动加载 ip_vs 模块

[root@lvs-dr ~]# modprobe ip_vs
[root@lvs-dr ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

安装管理软件 ipvsadm

[root@lvs-dr ~]# yum -y install ipvsadm

编辑调度服务器脚本

[root@lvs-dr ~]# vi dr.sh
#!/bin/bash
# lvs 调度器
ifconfig ens33:0 192.168.100.100 broadcast 192.168.100.100 netmask 255.255.255.255 up
route add -host 192.168.100.100 dev ens33:0
ipvsadm -C
ipvsadm -A -t 192.168.100.100:80 -s rr
ipvsadm -a -t 192.168.100.100:80 -r 192.168.100.20:80 -g
ipvsadm -a -t 192.168.100.100:80 -r 192.168.100.30:80 -g
ipvsadm -Ln
[root@lvs-dr ~]# sh dr.sh 
SIOCADDRT: 文件已存在
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.100:80 rr
  -> 192.168.100.20:80            Route   1      0          0         
  -> 192.168.100.30:80            Route   1      0          0  

测试结果

访问测试

通过虚拟地址访问真实地址

[root@lvs-dr ~]# ipvsadm -Lnc
IPVS connection entries
pro expire state       source             virtual            destination
TCP 00:40  FIN_WAIT    192.168.100.1:58661 192.168.100.100:80 192.168.100.20:80
TCP 01:36  FIN_WAIT    192.168.100.1:58684 192.168.100.100:80 192.168.100.30:80

浏览器访问不到网页的可能原因
1：挂载掉了，需要重新挂载
2：lo:0: 地址消失，需要重新执行脚本生效
3：关闭防火墙