十六周一次课
18.11 LVS DR模式搭建
18.12 keepalived + LVS
18.11 LVS DR模式搭建
LVS DR模式搭建
- DR模式搭建 – 准备工作
- 三台机器
- 分发器,也叫调度器(简写为dir)
- 133.130
- rs1
- 133.132
- rs2
- 133.133
- vip
- 133.200
- DR模式搭建
- dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
#! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forward ipv=/usr/sbin/ipvsadm vip=192.168.133.200 rs1=192.168.133.132 rs2=192.168.133.133#注意这里的网卡名字ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip dev ens33:2$ipv -C$ipv -A -t $vip:80 -s wrr$ipv -a -t $vip:80 -r $rs1:80 -g -w 1$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
- 两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
#/bin/bashvip=192.168.133.200#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.htmlecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
- 分别在dir上和两个rs上执行这些脚本
- 测试
LVS DR模式搭建
- 在生产环境用中的比较多的是DR模式,NAT模式有瓶颈,节省公网IP,对小公司来说公网IP也是花钱的,如果是配置的多台机器,每台机器都去配置一个公网IP就是很浪费资源的情况,而且当下公网IP越来越少。
- 另一种方案,搭建内部的lvs,全部都用内网,包括VIP也用内网,用一个公网IP做一个映射;公网的80端口映射到内网VIP的80端口,这样可以节省IP。
准备工作
1.DR模式,准备三台机器,只需要有一个网卡,一个IP
- 分发器,也叫调度器(简写为dir)
- 23.130
- rs1
- 23.129
- rs2
- 23.128
- vip
- 23.200
- vip绑定在所有的机器上,不仅分发器需要绑定,还有rs需要绑定
- 将B和C机器的网关改回23.2
2.保证机器都可以通信
3.在dir分发器(即A机器)上编写脚本,在/usr/local/sbin/lvs_dr.sh编辑
[[email protected] ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#打开端口转发
ipv=/usr/sbin/ipvsadm
#这是一个变量
vip=192.168.23.200
rs1=192.168.23.129
rs2=192.168.23.128
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#给一个网卡设置一个虚拟网卡
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
#这里-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
保存退出
4.启动分发器上的脚本
[[email protected] ~]# sh /usr/local/sbin/lvs_dr.sh
Device 'ens33' successfully disconnected.
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/8)
[[email protected] ~]#
- 这里执行脚本出来的信息是没有错的,因为有ifdown ens33和ifup ens33重启网卡
5.在两台rs上写脚本(即B机器和C机器),在 /usr/local/sbin/lvs_rs.sh 编辑
B机器
[[email protected] ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.23.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
保存退出
C机器同上
- 脚本定义/lo/arp_ignore和/all/arp_ignore的理解:
- 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
- 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
- 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
- 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
- 4-7 - 保留未使用
- 8 -不回应所有(本地地址)的arp查询
- arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
- 脚本定义/lo/arp_announce和/all/arp_announce的理解
- 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
- 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
- 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
- arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
6.执行B机器和C机器的脚本
[[email protected] ~]# sh /usr/local/sbin/lvs_rs.sh
[[email protected] ~]#
7.在B机器和C机器执行命令 route -n 能看到有一个vip的路由 192.168.202.200
B机器
[[email protected] ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.23.2 0.0.0.0 UG 100 0 0 eno16777736
192.168.23.0 0.0.0.0 255.255.255.0 U 100 0 0 eno16777736
192.168.23.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
[[email protected] ~]#
C机器
[[email protected] ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.23.2 0.0.0.0 UG 100 0 0 ens33
192.168.23.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.23.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
[[email protected] ~]#
8.用ip add命令查看,会看到 lo网卡上有一个vip,设定了一个IP
B机器
[[email protected] ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:53:9d:62 brd ff:ff:ff:ff:ff:ff
inet 192.168.23.129/24 brd 192.168.23.255 scope global eno16777736
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe53:9d62/64 scope link
valid_lft forever preferred_lft forever
[[email protected] ~]#
C机器
[[email protected] ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:62:ac:6b brd ff:ff:ff:ff:ff:ff
inet 192.168.23.128/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::f260:e175:826e:1131/64 scope link
valid_lft forever preferred_lft forever
[[email protected] ~]#
9.在dir分发器上(即A机器),用ip add命令查看,会看到ens37绑定了192.168.202.200
A机器
[[email protected] ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 brd 192.168.23.200 scope global ens33:2
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[[email protected] ~]#
测试
- 用curl命令访问这个vip(curl测试vip在rs上不太好用的,因为在本机绑定了这个vip,若是访问vip,等于访问自己),但是直接在A机器上去访问vip会发现失败,只能再开一个虚拟机来测试,不过用 ipvsadm -ln 命令,会看到ActiveConn都会有变化,表示实验成功
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 rr
-> 192.168.23.128:80 Route 1 2 0
-> 192.168.23.129:80 Route 1 0 4
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 rr
-> 192.168.23.128:80 Route 1 1 1
-> 192.168.23.129:80 Route 1 0
- 因为浏览器有缓存,所以没有办法及时的查看到lvs负载均衡的效果;但是通过刷新浏览器VIP地址,然后在dir机器是上查看ipvsadm的情况,可以发现,每一次刷新,ActiveConn都会有变化,刷新次数到一定数量时,InActConn也会产生变回,可见我们的实验是成功的。
- 这时问题就来了,如果因为有缓存,就没有办法及时的查看到浏览器的变化,我们如何确定负载均衡是否成功?其实这些都是不用担心的,因为当访问量达到一定数量时,负载均衡的效果就会慢慢的显示出来,如同我们实验一样,正是因为访问量小,我们看到的页面都是一样;
总结
- lvs 不管是nat还是dr模式配置过程都挺简单的,需要注意的是修改内核参数,打开端口转发;NAT模式比较重要的是就是rs的网关为dir的IP
18.12 keepalived + LVS
Keepalived+LVS DR
- 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
- keepalived内置了ipvsadm的功能,所以不需要再安装ipvsadm包,也不用编写和执行那个lvs_dir的脚本
- 三台机器分别为:
- dir(安装keepalived)133.130
- rs1 133.132
- rs2 133.133
- vip 133.200
- 编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容地址
- 需要更改里面的ip信息
- 执行ipvsadm -C 把之前的ipvsadm规则清空掉
- systemctl restart network 可以把之前的vip清空掉
- 两台rs上,依然要执行/usr/local/sbin/lvs_rs.sh脚本
- keepalived有一个比较好的功能,可以在一台rs宕机时,不再把请求转发过去
- 测试
Keepalived+LVS DR
- 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
- 为什么需要把keepalived 加到lvs 中的目的是什么?
- 原因一:lvs,它有个关键角色,就是dir分发器,如果分发器宕掉,那所有的访问就会被终止,因为所有的入口全都在dir分发器上,所以需要把分发器做一个高可用,用keepalived实现高可用,并且keepalived还有负载均衡的作用。
- 原因二:在使用lvs的时候,如果没有额外的操作,这时将一个rs机器关机(宕机)时,lvs照样会分发数据到这台宕机机器,这是就会出现访问无效的情况,说明lvs并不聪明;这时使用keepalived,就可以保证集群中其中一台rs宕机了,web还能正常提供,不会出现用户访问时无效链接的结果;一般这种架构,肯定是2台keepalived;
- 因为keepalived内置了ipvsadm的功能,所以不再需要安装ipvsadm的包,也不用再编写和执行.sh脚本
准备工作
1.准备三台机器,分别为
- dir(安装keepalived)74.129
- rs1 74.131
- rs2 74.133
- vip 74.200
2.在dir分发器(A机器)上,清空ipvsadm规则,并查看ipvsadm规则,会发现已经清空
[[email protected] ~]# ipvsadm -C
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[[email protected] ~]#
3.在分发器(即A机器)上编辑配置文件,在/etc/keepalived/keepalived.conf 配置,配置文件内容
- 因为之前做实验里面编辑过配置文件,这时直接删除,然后粘贴新的配置文件
- 修改配置文件中的网卡、vip ,还有rs机器上的IP
[[email protected] ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
#备用服务器上为 BACKUP
state MASTER
#绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
interface ens33
virtual_router_id 51
#备用服务器上为90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux
}
virtual_ipaddress {
192.168.23.200 //vip 地址
}
}
virtual_server 192.168.23.200 80 { //vip 地址
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的连接60秒内被分配到同一台realserver)
persistence_timeout 60
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.23.129 80 { //rs1机器
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.23.128 80 { //rs2机器
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
保存退出
4.启动nginx服务,查看nginx进程,查看keepalived服务
[[email protected] ~]# systemctl start keepalived
[[email protected] ~]# ps aux |grep keepalived
root 3928 0.5 0.1 120740 1404 ? Ss 19:21 0:00 /usr/sbin/keepalived -D
root 3929 1.8 0.3 127480 3328 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3930 1.1 0.2 131780 2940 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3937 0.0 0.0 112660 980 pts/2 S+ 19:22 0:00 grep --color=auto keepalived
[[email protected] ~]# ps aux |grep keepalived
root 3928 0.0 0.1 120740 1404 ? Ss 19:21 0:00 /usr/sbin/keepalived -D
root 3929 0.0 0.3 127480 3328 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3930 0.0 0.2 131780 2940 ? S 19:21 0:00 /usr/sbin/keepalived -D
root 3941 0.0 0.0 112660 976 pts/2 R+ 19:29 0:00 grep --color=auto keepalived
[[email protected] ~]#
5.查看IP,会看到虚拟IP依然存在
[[email protected] ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.200/32 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[[email protected] ~]#
6.查看ipvsadm规则
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 wlc persistent 60
-> 192.168.23.128:80 Route 100 0 0
-> 192.168.23.129:80 Route 100 0 0
[[email protected] ~]#
7.这时关闭keepalived服务,再来查看ip,会到虚拟IP停掉了
[[email protected] ~]# systemctl stop keepalived
[[email protected] ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:af brd ff:ff:ff:ff:ff:ff
inet 192.168.23.130/24 brd 192.168.23.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.23.139/24 brd 192.168.23.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::1eb9:8f9e:264a:7159/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:25:28:b9 brd ff:ff:ff:ff:ff:ff
inet 192.168.38.147/24 brd 192.168.38.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::8926:30a4:c44a:4412/64 scope link
valid_lft forever preferred_lft forever
[[email protected] ~]#
8.再来查看规则,会发现没有启动规则
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[[email protected] ~]#
9.这时启动keepalived,再来查看规则
[[email protected] ~]# systemctl start keepalived
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.23.200:80 wlc persistent 60
-> 192.168.23.128:80 Route 100 0 0
-> 192.168.23.129:80 Route 100 0 0
[[email protected] ~]#
10.注意事项:两点
- 1.打开dir机器的端口转发
echo 1 > /proc/sys/net/ipv4/ip_forward //打开端口转发
- 2.在rs机器上创建的/usr/local/sbin/lvs_rs.sh脚本,依然要执行它
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
总结
- keepalived 有一个比较好的功能,可以在一台rs宕机的时候,及时把他踢出 ipvsadm 集群,将不再发送数据包给,也就很好的避免访问无连接的情况发送。
友情链接:http://www.apelearn.com阿铭Linux
原文地址:http://blog.51cto.com/13184900/2104111