负载均衡的解决方案有硬件解决方案和软件解决方案。主流的硬件解决方案是:
F5 BIG-IP
Citrix Netscalar
A10 A10
Array
Redware
LVS(Linux Virtual Server)是工作在网络四层交换或路由软件解决方案。它通过内核框架模块ipvs及配置在该框架之上的一组规则来实现交换或路由。ipvsadm则是配置路由规则的工具。ipvs基于内核的netfilter框架模块,工作在其INPUT链上,将到达INPUT链的需要转发的包路由至Real Server。因此,ipvs功能会与netfilter的filter和nat表的功能有冲突。最好不要在部署了ipvs规则的主机上配置iptables的filter和nat规则。LVS有四种模型:NAT, DR, TUN, FULLNAT。
NAT模型的特征:
1. RS应该使用私有地址。
2. RS的网关必须指向Director的DIP。
3. RS的RIP和DIP必须在同一网段内。
4. 请求和响应的报文都经过Director,在高负载的场景中,Director可能成为系统性能瓶颈。
5. 支持端口映射。
6. RS可以使用任意支持集群服务的操作系统。
DR模型的特征:
1. RS可以使用私有地址,也可以使用公网地址。
2. RS的网关一定不能指向DIP
3. RS和Director要在同一物理网络内(不能有路由器分割)
4. 请求报文经过Director,但响应报文一定不经过Director
5. 不支持端口映射
6. RS可以使用大多数的操作系统
TUN模型的特征:
1. RIP、DIP和VIP都必须是公网地址
2. RS的网关一定不会指向DIP
3. 请求报文经过Director,但响应报文一定不经过Director
4. 不支持端口映射
5. RS的操作系统必须支持IP隧道技术
LVS支持的10种调度策略
静态策略
- rr: Round Robin
- wrr: Weight Round Robin
- sh: Source Hashing
- dh: Destination Hashing
动态策略
- lc: Least Connection Overhead=Active*256+Inactive,选择负载值最小进行调度。
- wlc: Weight Least Connection Overhead=(Active*256+Inactive)/weight
- sed: Shortest Expect Delay Overhead=(Active+1)*256/weight
- nq: Nerver Queue
- lblc: Locality-based Least Connection dh+lc
- lblcr: Replicated and Locality-based Least Connection
Session持久机制
- session绑定:始终将同一个请求者的连接定向至同一个RS(第一次请求时仍由调度方法选择);没有容错能力,有损均衡效果。
- session复制:在RS之间同步session,因此,每个RS持集群中所有的session;对于大规模集群环境不适用。
- session服务器:利用单独部署的服务器来统一管理session。
ipvs命令工具常用选项和参数
集群服务相关
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f service-address
ipvsadm -C
-A: 添加一个集群服务
-t: tcp
-u: udp
-f: firewall mark,通常用于将两个或以上的服务绑定为一个服务进行处理时使用;service-address:
-t IP:port
-u ip:port
-f firewall_mark-s 调度方法,默认为wlc
-p timeout: persistent connection, 持久连接
-E:修改定义过的集群服务
-D -t|u|f service-address:删除指定的集群服务
RS相关
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower]
ipvsadm -d -t|u|f service-address -r server-address
-a:向指定的CS中添加RS
-t|-u|-f service-address:指明将RS添加至哪个Cluster Service中-r: 指定RS,可包含{IP[:port]},只有支持端口映射的LVS类型才允许此处使用跟集群服务中不同的端口
LVS类型:
-g: Gateway, DR
-i: ipip, TUN
-m: masquerade, NAT-e: 修改指定的RS属性
-d -t|u|f service-address -r server-address:从指定的集群服务中删除某RS
保存规则:(使用输出重定向)
ipvsadm-save
ipvsadm -S
载入指定的规则:(使用输入重定向)
ipvsadm -R
ipvsadm-restore
查看ipvs规则
-L [options]
-n: 数字格式显示IP地址
-c: 显示连接数相关信息
--stats: 显示统计数据
--rate: 速率
--exact:显示统计数据的精确值
LVS持久连接
PCC:将来自于同一个客户端发往VIP的所有请求统统定向至同一个RS。
PPC:将来自于一个客户端发往某VIP的某端口的所有请求统统定向至同一个RS。
PFMC: 端口绑定,port affinity。基于防火墙标记,将两个或以上的端口绑定为同一个服务。
举例:
# iptables -t mangle -A PREROUTING -d VIP -p tcp --dport CS_Port -j MARK --set-mark num (num取0-99之间的值)
# ipvsadm -A -f num
LVS的DR模型配置实例
假定用3台主机配置一个web集群。一台Director,2台Real Server。VIP:192.168.100.185,DIP:192.168.100.105,RS1的RIP:192.168.100.107,RS1的RIP:192.168.100.108 。3台主机都连接在同一交换机上,2台Real Server上web服务都已安装配置完成。以下主要给出LVS集群相关的配置过程。
RS1的配置:
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore # echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce # echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce # # ifconfig lo:0 192.168.100.185 netmask 255.255.255.255 broadcast 192.168.100.185 up # route add -host 192.168.100.185 dev lo:0 #
RS2的配置:
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore # echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce # echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce # # ifconfig lo:0 192.168.100.185 netmask 255.255.255.255 broadcast 192.168.100.185 up # route add -host 192.168.100.185 dev lo:0
Director的配置:
安装ipvsadm
# yum install ipvsadm
# ifconfig eth0:0 192.168.100.185 netmask 255.255.0.0 broadcast up # route add -host 192.168.100.185 dev eth0:0 # # iptables -t filter -F # ipvsadm -A -t 192.168.100.185:80 -s rr # ipvsadm -a -t 192.168.100.185:80 -r 192.168.100.107 -g # ipvsadm -a -t 192.168.100.185:80 -r 192.168.100.108 -g