Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境部署】

1、环境说明：

系统版本：Ubuntu 14.04

LVS1物理IP：14.17.64.2   初始接管VIP：14.17.64.13

LVS2物理IP：14.17.64.3   初始接管VIP：14.17.64.14

真实web服务器IP：14.17.64.4-12

实现效果：去往14.17.64.13或14的报文，转发给14.17.64.4-12中的一台服务器处理，实现负载均衡。

要求1：当一台真实web服务器故障后，自动把该IP从负载均衡中踢除，恢复后自动加入集群。

要求2：当一台LVS服务器故障后，正常的LVS服务器会接管故障LVS服务器上的VIP，故障恢复后自动抢占回VIP，继续负载分担。

2、安装LVS与Keepalived

#aptitude install ipvsadm          #安装lvs

#ipvsadm                             #加载lvs，ipvsadm的规则由keepalived来配置，所以安装即可，如果要对lvs手动配置详细了解，可参考我的另一篇文章：http://yangrong.blog.51cto.com/6945369/1574991

#aptitude install keepalived      #安装keepalived

#配置文件目录/etc/keepalived/keepalived.conf，默认并没有配置文件，需要手动创建。

#Keepalived配置文件详解参考地址：http://www.360doc.com/content/11/1228/16/834950_175607432.shtml

3、keepalived配置

此处是单台LVS上keepalived.conf的配置，另一台LVS上的keepalived.conf的配置文件，只需把下列红色与蓝色字体参数对换一下即可。

配置文件如下：

! Configuration File for keepalived

vrrp_instance VI_1 {            #定义一个实例，keepalived间的高可用只能接管相同实例名称

stateMASTER                 #指定Keepalived的角色，MASTER表示此主机是主服务器 BACKUP表示此主机是备用服务器，所以设置priority时要注意MASTER比BACKUP高。

interface p1p1              #指定监测网络的接口，当LVS接管时，将会把IP地址添加到该网卡上。

virtual_router_id 51        #虚拟路由标识，同一个vrrp实例使用唯一的标识，同一个vrrp_instance下，MASTER和BACKUP必须一致。

priority120                 #指定这个实例优先级

advert_int 1                 #心跳报文发送间隔

#notify_master/path/xx.sh    #这个实例切换为master时执行的脚本

#notify_backup /path/xx.sh   #这个实例切换为backup时执行的脚本

#track_interface{            #设置额外的监控，里面某个网卡故障也会进行切换，这个一般用来监控上行链路

#eth1

#}

authentication {

auth_type PASS          #设置验证类型，主要有PASS和AH两种

auth_pass 1111          #设置验证密码，同一个vrrp_instance下，MASTER和BACKUP的密码必须一致才能正常通信

}

virtual_ipaddress {         #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个

14.17.64.13

}

}

vrrp_instance VI_2 {            #定义另一个实例

state BACKUP

interface p1p1

virtual_router_id 52

priority 80

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

14.17.64.14

}

}

virtual_server 14.17.64.13 0 {     #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开

delay_loop 6                   #设置运行情况检查时间，单位是秒

lb_algo wrr                    #设置负载调试算法，这里设置为wrr即加权论询算法

lb_kind DR                     #设置LVS实现负载均衡的机制，有NAT，TUN和DR三个模式可选

persistence_timeout 50         #设置会话保持时间，单位是秒

protocol TCP                   #指定转发协议类型，有TCP和UDP两种

real_server 14.17.64.4 0 {     #配置服务节点1，需要指定real server的真实IP地址和端口

weight 1                   #配置服务节点的权值，

TCP_CHECK {

connect_timeout 8          #表示8秒无响应超时

nb_get_retry 3             #表示重试次数

delay_before_retry 3       #表示重试间隔

connect_port 80            #使用80端口进行保活

}

}

real_server 14.17.64.5 0 {

weight 1

TCP_CHECK {

connect_timeout 8

nb_get_retry 3

delay_before_retry 3

#connect_port 80

}

}

#更多real_server略掉。

}

virtual_server 14.17.64.14 0 {    #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开

delay_loop 6                  #设置运行情况检查时间，单位是秒

lb_algo wrr                   #设置负载调试算法，这里设置为wrr即加权论询算法

lb_kind DR                    #设置LVS实现负载均衡的机制，有NAT，TUN和DR三个模式可选

persistence_timeout 50        #设置会话保持时间，单位是秒

protocol TCP                  #指定转发协议类型，有TCP和UDP两种

real_server 14.17.64.4 0 {    #配置服务节点1，需要指定real server的真实IP地址和端口

weight 1                  #配置服务节点的权值，

TCP_CHECK {

connect_timeout 8         #表示8秒无响应超时

nb_get_retry 3            #表示重试次数

delay_before_retry 3      #表示重试间隔

connect_port 80

}

}

real_server 14.17.64.5 0 {

weight 1

TCP_CHECK {

connect_timeout 8

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

#更多real_server略掉

}

4、真实服务器健康检查测试

由于是线上环境，我不能通过关闭机器或网卡进行测试，但是他保活是通过tcp 80端口来保活的，所以只需关闭真实服务器上的http服务就OK。

如下所示，关掉nginx服务后，果真从lvs负载里踢出了。

[email protected]:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1     0          0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     3          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route   1     0          0

-> 14.17.64.10:0                Route   1     2          1

-> 14.17.64.11:0                Route   1     1          1

-> 14.17.64.12:0                Route   1     0          0

TCP  14.17.64.14:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1      0         0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     0          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route   1     0          0

-> 14.17.64.10:0                Route   1     0          0

-> 14.17.64.11:0                Route   1     0          0

-> 14.17.64.12:0                Route   1      0         0

[email protected]:/etc/keepalived# /etc/init.d/nginxstop

[email protected]:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1     0          0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     3          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route   1     0          0

-> 14.17.64.11:0                Route   1     1          1

-> 14.17.64.12:0                Route   1     0          0

TCP  14.17.64.14:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1     0          0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     0          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route   1     0          0

-> 14.17.64.11:0                Route   1     0          0

-> 14.17.64.12:0                Route   1     0          0

启动真实服务器上nginx后，该真实服务器又加入ipvsadm转发规则中。

[email protected]:/etc/keepalived# /etc/init.d/nginxstart

[email protected]:/etc/keepalived# ipvsadm-L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  14.17.64.13:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1     0          0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     3          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route   1     0          0

-> 14.17.64.10:0                Route   1     1          1

-> 14.17.64.11:0                Route   1      0         0

-> 14.17.64.12:0                Route   1     0          0

TCP  14.17.64.14:0 wrr persistent50

-> 14.17.64.4:0                 Route   1     0          0

-> 14.17.64.5:0                 Route   1     0          0

-> 14.17.64.6:0                 Route   1     0          0

-> 14.17.64.7:0                 Route   1     0          0

-> 14.17.64.8:0                 Route   1     0          0

-> 14.17.64.9:0                 Route  1      0          0

-> 14.17.64.10:0                Route   1     0          0

-> 14.17.64.11:0                Route   1     0          0

-> 14.17.64.12:0                Route   1     0          0

从测试结果得知，keepalived真实服务器保活测试成功。

5、LVS高可用自动切换测试

由于都是在IDC机房服务器上操作，不可能断掉网卡，所以重启一台LVS服务器。

VIP接管查看：

其中一台LVS接管了14.17.64.14：

[email protected]:~# ip add |grep14.17.64

inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

inet 14.17.64.14/32 scopeglobal p1p1

另一台LVS接管了14.17.64.13：

[email protected]:/etc/keepalived# ipadd |grep 14.17.64

inet 14.17.64.3/24 brd14.17.64.255 scope global p1p1

inet 14.17.64.13/32 scopeglobal p1p1

把ipvsadm和keepalived加入开机自启动：

#cat  /etc/rc.local

ipvsadm

/etc/init.d/keepalived start

重启14.17.64.3服务器查看VIP切换情况：

经过测试，重启几秒钟后，14.17.64.2服务器就把VIP 14.17.64.13接管了过来。同时使用ssh登录14.17.64.13测试，能够正常的转发。

[email protected]:~# ip add|grep 14.17.64

inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

inet 14.17.64.14/32 scopeglobal p1p1

inet 14.17.64.13/32 scopeglobal p1p1

[email protected]:~# ipvsadm -L -c      #从这儿可以看出，14.17.64.13转发到10真实服务器上。

IPVS connection entries

pro expire state      source             virtual            destination

TCP 14:58  ESTABLISHED242.103.143.219.broad.bj.bj.dynamic.163data.com.cn:54106 14.17.64.13:62222  14.17.64.10:62222

在lvs服务器重新启动之后，还会把VIP抢占回来

[email protected]:~# ip add|grep 14.17.64

inet 14.17.64.2/24 brd14.17.64.255 scope global p1p1

inet 14.17.64.14/32 scopeglobal p1p1

到此，LVS+Keepalived高可用搭建完成，并能实现多端口的转发（即转发所有TCP端口）。

思考：

此处只部署了两台LVS，如果要部署更多LVS，也是同样的配置，因为keepalived的心跳报文是广播的，所以只要在同一个局域网内，无论多少个keepalived程序都能够进行选举与VIP接管。

原文地址：https://www.cnblogs.com/ExMan/p/11832592.html

时间： 2024-11-07 20:20:46

Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境部署】的相关文章

Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境】

1.环境说明: 系统版本:Ubuntu 14.04 LVS1物理IP:14.17.64.2   初始接管VIP:14.17.64.13 LVS2物理IP:14.17.64.3   初始接管VIP:14.17.64.14 真实web服务器IP:14.17.64.4-12 实现效果:去往14.17.64.13或14的报文,转发给14.17.64.4-12中的一台服务器处理,实现负载均衡. 要求1:当一台真实web服务器故障后,自动把该IP从负载均衡中踢除,恢复后自动加入集群. 要求2:当一台LVS服

LVS+Keepalived高可用负载均衡集群架构

实验环境: LVS和keepalived介绍: 1.keepalived的设计目标是构建高可用的LVS负载均衡群集,可以调用ipvsadm工具来创建虚拟服务器,管理服务器池,而不仅仅用来做双机热备. 使用keepalived构建LVS群集更加简便易用,主要优势体现在: 对LVS负载调度器实现热备切换,提高可用性: 对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入. 2.在基于LVS+Keepalived实现的LVS群集结构中,至少包括两台热备的负载调度器,两台以上的节点服务器,

lvs+keepalived高可用负载均衡集群双主实现

项目说明 1.         使用LVS负载均衡用户请求到后端web服务器,并且实现健康状态检查 2.         使用keepalived高可用LVS,避免LVS单点故障 3.         集群中分别在LK-01和LK-02运行一个VIP地址,实现LVS双主 4.         用户通过DNS轮训的方式实现访问集群的负载均衡(不演示) 环境拓扑 环境介绍 IP地址 功能描述 LK-01 172.16.4.100 调度用户请求到后端web服务器,并且和LK-02互为备份 LK-02

搭建LVS+keepalived高可用负载均衡集群

重点:各节点之间同步时间 netdate time.windows.com 1.关闭防火墙和SELinux    service iptables stop   setenforce 0 2.环境规划 3.配置  1)DR1     安装ipvsadm     yum -y install ipvsadm     安装keepalived  yum -y install keepalived     修改keepalived配置文件 vim /etc/keepalived/keepalived.

DNS+keepalived+lvs实现高可用负载均衡集群

1.目的: 部署两台lvs调度器并利用keepalived实现主主模型,DNS添加两条A记录指向lvs调度器实现轮询,最终实现高可用负载均衡集群效果 2.拓扑规划: 3.配置实践 (1)同步所有机器时间 在每台机器实行ntp同步: [[email protected] ~]# ntpdate 10.1.0.1 26 Oct 20:10:57 ntpdate[5533]: step time server 10.1.0.1 offset -32408.643564 sec (2)先配置RS,在RS

Keepalived+LVS(dr)高可用负载均衡集群的实现

一 环境介绍 1.操作系统CentOS Linux release 7.2.1511 (Core) 2.服务keepalived+lvs双主高可用负载均衡集群及LAMP应用keepalived-1.2.13-7.el7.x86_64ipvsadm-1.27-7.el7.x86_64httpd-2.4.6-45.el7.centos.x86_64mariadb-5.5.52-1.el7.x86_64php-5.4.16-42.el7.x86_64 二 原理及拓扑图 1.vrrp协议vrrp(Vir

nginx+keepalived的高可用负载均衡集群构建

实验架构图: 实验环境 Nginx和Keepalived原理介绍 参考博客:http://467754239.blog.51cto.com/4878013/1541421 1.nginx Nginx进程基于于Master+Slave(worker)多进程模型,自身具有非常稳定的子进程管理功能.在Master进程分配模式下,Master进程永远不进行业务处理,只是进行任务分发, 从而达到Master进程的存活高可靠性,Slave(worker)进程所有的业务信号都 由主进程发出,Slave(wor

LVS+Keepalived搭建MyCAT高可用负载均衡集群

LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一.目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR),十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq). Keepalvied Keepalived在这里主要用作RealServer的健康状态检查以及Mast

（2）LVS+Keepalived高可用负载均衡架构原理及配置

1.keepalived 介绍2.keepalived 优缺点3.keepalived 应用场景4.keepalived 安装配置5.keepalived+lvs 高可用6.keepalived+nginx 高可用7.keepalived 切换原理8.性能优化9.常见故障 一.keepalived 介绍 1.keepalived 定义keepalived是一个基于VRRP(virtual route redundent protocol)协议来实现的LVS服务高可用方案,可以利用其来避免单点故障