LVS的DR模式介绍
LVS在NAT模式下所有的请求和响应报文都需要经过director,尽管LVS工作在内核层不受套接字文件65535的数量限制,但也有可能会成为性能瓶颈(如视频网站),以下介绍LVS的另一种工作模式——dr模式,它是LVS默认的工作模式。与nat模式通过单边修改源或目标的IP地址实现负载均衡功能不同,dr模式则是通过修改mac地址来实现该功能,整个过程中源和目标的IP地址不发生变法。
LVS的dr模式工作原理
与nat模式下LVS负载均衡器充当内网中RS服务器的网关不同,dr模式下LVS负载均衡器和RS主机各自只需要一块网卡并接在同一个交换机下
我们将客户端向服务器端发出请求,经过网络上路由器层层转发后,到达LVS服务器所在网络的接口IP地址设为CIP,此时数据报文中源地址是CIP;目标地址是VIP
由于本地网络中计算机之间是通过mac地址进行通信,此时路由器的CIP接口会向本地网络发出广播索要VIP接口的mac地址,VIP接口接收到广播后上报自己的mac地址,数据报文在IP地址上再封装一层mac地址后发送给LVS负载均衡器
LVS负载均衡器在接收到请求后拆掉mac地址,根据设置的调度规则,选定一个服务器(以服务器1为例),并将目标mac地址改为RIP1的mac地址后发还给路由器的CIP接口,此处需要注意的是director只能通过DIP与realserver通信,所以LVS负载均衡器上同时还要配置一个DIP地址
路由器的CIP接口在接收到修改过目标mac地址的报文后从新将数据报发给新mac地址所对应的服务器1,当服务器1接收到请求后拆掉mac报发现请求的地址是VIP,所以realserver上还需要配置VIP地址,否则请求将会被丢弃,且realserver的VIP地址绑在回环接口上,避免地址发生冲突,与此同时又引入一个新问题:在之前过程中广播寻找VIP地址时director和realserver都会相应,通过修改realserver内核参数避免这种情况的产生
服务器处理完请求后直接将结果返回给客户端而不再经过director
arp抑制功能
realserver为了避免在本地网络中广播索要VIP的mac地址时,需要修改内核参数开启arp抑制功能,修改的参数是arp_announce和arp_ignore,下面分别进行说明。
1.arp_announce
主动向外通告计算机所有的IP地址,arp_announce有0、1、2三个值,0为默认值,如下图所示,1.1会向1.2通告所有的IP地址包括2.1和3.1,同理2.1和3.1也会向各自所在的网段通告本机所有的IP,由于realserver不能和director去抢着响应VIP的广播,所以在realserver上需要将arp_announce值设置为2
2.arp_ignore
请求从哪个接口进来该接口才做出响应,其余接口不做响应,以上图为例,请求从1.1接口进来,所以只有1.1接口做出回应,2.1和3.1接口不做响应,arp_ignore有9个值,0为默认值,如下图所示,此处需要将arp_ignore值设置为1,另外需要注意的是arp抑制的操作应在给realserver设置VIP之前完成
总结
1.lvs-dr模式它通过修改请求报文的目标MAC地址进行转发,请求报文经由director调度,响应报文不经过director
2.director上配置DIP和VIP,realserver上配置RIP和VIP,同时启用realserver的arp抑制功能
3.realserver跟director必须在同一物理网络中,可以是不同的vlan,只要中间没有路由设备;RS的RIP可以使用私有地址但也可以使用公网地址
4.因为响应报文不经过director,所以不支持端口映射;
5.realserver可以大多数支持设置arp抑制的系统;
6.realserver的网关不能指向DIP
操作步骤
网络拓扑
LVS负载均衡器和web服务器系统版本均为CentOS6.8,LVS负载均衡器有1张网卡,VIP地址配置在本地接口别名上,安装ipvsadm作为director,web服务器为realserver,安装httpd提供页面服务,VIP配置在本地回环接口别名上,此处便于演示效果让2台web服务器页面不一致,安装步骤省却。
操作步骤
1.将VIP地址设置在director本地接口别名或回环接口上(本地网络中是通过广播寻找VIP地址,所以在那个接口无所谓,如果使用ip addr add命令可以直接在eth0上设置多个地址),并查看是否生效
2.指定LVS的director服务器,并选择调度模式;指定realserver服务器并设置数据转发类型,查看设置是否生效
3.保存ipvsadm当前配置,指定一个保存文件,便于清理后从该文件恢复配置
4.realserver服务器做arp抑制,抑制时注意将所有端口都要进行设置,除了all之外由于RIP是设置在eth0上与外部通信,所以也要进行设置
5.将VIP配置在realserver的回环地址上,并添加路由,要求前往172.16.10.100的流量必须从经过lo:0接口。如果使用ip addr add命令可以直接在eth0或lo上设置,且不需要添加路由
6.确认realserver的网关一定不能指向DIP,至此操作全部完成
补充说明
本地接口和回环接口
本地接口是一个真实的物理接口,自身有mac地址;而会换接口是一个逻辑接口没有mac地址。本地接口别名和本地接口可以是不同的IP地址,但使用相同的mac地址;而回环接口和回环地址别名有不同的IP地址,但都没有mac地址。
所以当director将目标mac地址更改完后realserver是通过RIP的接口接收到,发现mac地址就是自己的本地接口后拆掉mac地址,发现目标IP是VIP,而VIP配置在环回地址的别名上,所以此时需要使用route add -host 172.16.10.100 dev lo:0
而当数据报文返回时由于是从RIP接口进来应该直接由RIP接口返回,但是客户端请求的是VIP的地址,此时又强行让数据报文先经过VIP,整个lvs-dr模式工作流程如下:
1.客户端向VIP地址发起请求
2.本地网络通过广播形式寻找VIP的mac地址,director进行响应并接受请求
3.director根据设置的调度规则选定一个负责处理的realserver,并将目标mac地址改为对应realserver的mac地址
4.按照新的目标mac地址重新发出请求,RIP接口发现目标mac地址就是自己拆封后发现目标IP是本地回环接口上的IP,交由本地回环接口处理
5.由于数据报文时从物理接口流入,守护进程处理完后交由物理接口返还客户端
6.但此时物理接口上的IP为RIP并不是客户端请求的VIP,所以数据报文被强行指向VIP的环回接口
7.回环接口封装完IP地址后再封装物理接口的mac地址,将结果返回客户端