LVS+keepalived 实现高可用群集

高可用群集(High Availability Cluster)

以提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果。列如,“故障切换”,“双机热备”,“多机热备”等都属于高可用集群技术。

HA 的工作方式包括双工和主从两种,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。

LVS+Keepalived 实现高可用负载均衡集群

随着网站业务量的增长,网站的服务器压力越来越大?需要负载均衡方案!商业的硬件如 F5 ,Array又太贵,你们又是创业型互联公司如何有效节约成本,节省不必要的浪费?同时还需要实现商业硬件一样的高性能高可用的功能?有什么好的负载均衡可伸张可扩展的方案吗?有!我们利用LVS+Keepalivd基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

keepalived 工具介绍

专为 LVS 和 HA 设计的一款健康检查工具

●支持故障自动切换(Failover)

●支持节点健康状态检查(Health Checking)

官方网站:http://www.keepalived.org/

keepalived 实现原理剖析

  keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能。

VRRP,虚拟路由冗余协议,是针对路由器的一种备份解决方案。由多台路由器组成一个热备组,通过共用的虚拟IP地址对外提供服务。每个热备组内同一时刻只有一台主路由器提供服务,其他路由器处于冗余状态。若当前在线的路由器失败,则其他路由器会根据设置的优先级自动接替虚拟IP地址,继续提供服务。

Keepalived 采用VRRP(Virtual Router Redundancy Protocal,虚拟路由冗余协议)热备份协议,以软件的形式实现Linux服务器的多机热备功能 主要用来
提供failover(故障转移),和健康状态检查(Health Checking)功能,判断调度器(LoadBalance)主机、Backup主机、RealServer主机的可用性,及时
隔离并替换为新的服务器,当故障主机恢复后将其重新加入集群。

热备组:通过共用的虚拟ip地址向外提供服务,同时只能有一个主机向外提供服务,其他处于冗余状态,当主出现故障时,根据优先级决定替换顺序,VIP漂移

keepalived 即可以用做HA集群功能,同时又有负载均衡的功能。比如我们使用的后端的真实服务器(real server,以下简称rs)宕机后,如果没有 keepalived 支持,那么dir服务器仍然会根据算法将客户的请求发送到这台宕机的rs上,那么返回给客户端的就是不能访问资源。当使用keepalived支持的时候,它不但可以监测rs的状态(即监测rs不正常工作后,会将客户请求不在发往这个rs),还可以监测dir的状态(监测分发服务器状态,可以将dir服务器分成主从高可用,监测到主挂后可以有从dir分发),保证dir服务器不间断向后端rs服务器发送请求,rs服务器也会不间断向用户响应,持续高效的工作。

常用的HA集群的软件还有heartbeat等。keepalived配置文件简单,只有一个配置文件,不像heartbeat有三个配置文件需要配置三个地方。

这里我们说的是lvs和keepalived的结合使用。

LVS和keepalived安装配置

1)准备四台虚拟机

server1                             LVS负载调度器(ens32:192.168.200.111)    (主)

server2                             WEB主机服务器(ens32:192.168.200.112)

server3                             WEB主机服务器(ens32:192.168.200.113)

server4                             LVS负载调度器(ens32:192.168.200.114)   (从,备份)

LVS-DR-Master/LVS-DR-BACKUP 安装 LVS和 Keepalvied软件包

yum -y install ipvsadm kernel-devel openssl-devel

注:一定要与当前的运行的内核一致,因为 /usr/src/kernels目录下可有多个内核。否则在编译 keepalived 时会出错,从而不能继续进行安装外,还会使keepalived 启动后功能失效

tar xf keepalived-1.2.2.tar.gz 
cd keepalived-1.2.2
./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.18-194.el5-i686
make
make install

chkconfig --add keepalived
chkconfig keepalived on
chkconfig --list keepalived
service keepalived start|stop #做成系统启动服务方便管理.

配置 keepalived 实现高可用

配置Keepalived
cd /etc/keepalived
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
----------------------------------------------------------------------------------------------
! Configuration File for keepalived

global_defs {
notification_email {
[email protected]                                      #设置报警邮件地址,可以设置多个,每行一个。注意,如果要开启邮件报警,需要开启本机的sendmail服务
}
notification_email_from [email protected]  #设置邮件的发送地址
smtp_server 127.0.0.1                                    #设置smtp服务器地址
smtp_connect_timeout 30                              #设置连接 smtp 服务器超时时间 
router_id LVS_MASTER                                 #运行 Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}

vrrp_instance VI_1 {                                      #vrrp实例定义部分,同一个热备组,虚拟实例名相同。
state MASTER                                              #指定 Keepalived 的角色,MASTER表示此主机是主用服务器,BACKUP表示是备用服务器。备份服务器上将 MASTER 改为 BACKUP。 
interface ens32                                             #指定 HA监测网络的接口
virtual_router_id 51                                       #虚拟路由标识,这个标识是一个数字,并且同一个 vrrp 实例使用唯一的标识,即同一个 vrrp_instance下,MASTER 和 BACKUP必须是一致的。(0-255)
priority 100                                                    #定义优先级,数字越大,优先级越高,在一个 vrrp_instance下,MASTER的优先级必须大于 BACKUP 的优先级。备份服务上将 100 改为 50
advert_int 1                                                  #设定MASTER 与 BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication {                                            #设定验证类型和密码 
auth_type PASS                                          #设置验证类型,主要有 PASS和 AH 两种 
auth_pass 1111                                           #设置验证密码,在一个 vrrp_instance下,MASTER 与 BACKUP必须使用相同的密码才能正常通信。
}
virtual_ipaddress {                                      #设置虚拟 IP地址,可以设置多个虚拟IP地址,每行一个 
192.168.200.254
}
}

#虚拟服务器定义部分 
virtual_server 192.168.200.254 80 {                  #设置虚拟服务器,需要指定虚拟 ip 地址和服务端口,ip 与
端口之间用空格隔开。 
    delay_loop 6                                                      #设置健康检查时间,单位是秒
    lb_algo rr                                                           #设置负载调度算法,这里设置为 rr,即轮询算法, rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind DR                                                        #设置 LVS实现负载均衡的机制,可以有 NAT、TUN 和 DR三个模式可选。
    protocol TCP                                                    #指定转发协议类型,有 tcp和 udp 两种

real_server 192.168.200.112 80 {                    #配置服务节点 1,需要指定 real server 的真实IP地址和端口,ip 与端口之间用空格隔开。
        weight 1                                                           #配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值的大小可以为不同性能的服务器分配不同的负载,可以对性能高的服务器设置较高的
权值,而对性能较低的服务器设置相对较低的权值,这样就合理的利用和分配了系统资源 
        TCP_CHECK {                                                #real serve 的状态检测设置部分,单位是秒
            connect_timeout 10                                        #10秒无响应超时
            nb_get_retry 3                                                #重试次数
            delay_before_retry 3                                      #重试间隔 
            connect_port 80                                             #测试连接的端口 
        }
    }
    real_server 192.168.200.113 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

---------------------------------------------------------------------------------------------

2)配置 keepalived 

在两台 LVS 负载调度器上都安装 ipvsadm keepalived

yum -y install ipvsadm keepalived

配置

vim /etc/keepalived/keepalived.conf

LVS负载调度器(主)

vrrp_instance VI_1 {
    state MASTER                                                      #配置主,若是从改成BACKUP
    interface ens32                                                      #注意网卡,须是本机的网卡
    virtual_router_id 51                                               #id号
    priority 100                                                            #优先级,100最高,若是从改成100以下
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
}
    virtual_ipaddress {
       192.168.200.254                                                     #VIP,即对外的IP,用户访问的IP。可以添加多个VIP

}
}
#下面是配置VIP对应的真实服务器,也可以添加多个VIP配置
virtual_server 192.168.200.254 80 {
    delay_loop 6                                 #每隔多少秒keepalived监测rs的状态
    lb_algo rr                                       #设置分发的算法
    lb_kind DR                                    #设置分发的模式,这里使用DR模式演示
    persistence_timeout 0                  #同一个IP连接访问在多少秒内被分发到同一个rs上,这里改成0,如果是60,那么会在60秒内一直被连接到同一个rs上。
    protocol TCP
#真实服务器的配置,注意IP和端口
    real_server 192.168.200.112 80 {
        weight 1                                           #权重
        TCP_CHECK {
             connect_timeout 10       #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           #权重
        TCP_CHECK {
             connect_timeout 10       #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

systemctl restart keepalived
LVS负载调度器(从,备份)

vrrp_instance VI_1 {                                                 #同一热备组,虚拟实例名相同
    state BACKUP                                                      
    interface ens32                                                      #注意网卡,须是本机的网卡
    virtual_router_id 51                                               #同一热备组,ID号相同
    priority 90                                                            #优先级,100最高,若是从改成100以下
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
}
    virtual_ipaddress {
       192.168.200.254                                                     #VIP,即对外的IP,用户访问的IP。可以添加多个VIP

}
}
#下面是配置VIP对应的真实服务器,也可以添加多个VIP配置
virtual_server 192.168.200.254 80 {
    delay_loop 6                                 #每隔多少秒keepalived监测rs的状态
    lb_algo rr                                       #设置分发的算法
    lb_kind DR                                    #设置分发的模式,这里使用DR模式演示
    persistence_timeout 0                  #同一个IP连接访问在多少秒内被分发到同一个rs上,这里改成0,如果是60,那么会在60秒内一直被连接到同一个rs上。
    protocol TCP
#真实服务器的配置,注意IP和端口
    real_server 192.168.200.112 80 {
        weight 1                                           #权重
        TCP_CHECK {
             connect_timeout 10                    #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           #权重
        TCP_CHECK {
             connect_timeout 10                    #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

systemctl restart keepalived 
两台WEB主机服务器同 LVS负载均衡 时一样 

五. 测试
启动 keepalived 服务 
分别在主、备均衡服务器上启动 keepalived 服务,启动命令为: 
service restart keepalived

tail -f  /var/log/messages

确定 realserver1 和 realserver2 服务器的 httpd服务启动,页面能正常访问

打开浏览器,输入http://192.168.200.254将分别看到不同的页面。

查看测试 
ipvsadm -Lnc

测试 HA功能 
断掉 LVS-Master 的 ens32 的网络连接或者关闭系统模拟故障发生。 
在 LVS-Slave 中观察日志,大约应在 30 秒内 LVS-Slave 接管 LVS-Master 的资源启动 LVS
服务。主均衡服务器恢复正常后,必须能够从备份均衡服务器接管资源。

tail -f /var/log/messages //当 LVS-Master 发生故障后
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov 7 06:05:32 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov 7 06:06:59 www avahi-daemon[3296]: Invalid legacy unicast query packet.
Nov 7 06:06:59 www last message repeated 2 times
Nov 7 06:07:00 www avahi-daemon[3296]: Received response from host 192.168.200.1 with invalid source port 59083 on interface ‘eth0.0‘
Nov 7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
Nov 7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE

1、 vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段,并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip.
2、 vip被绑定在环回接口lo0:0上,其广播地址是其本身,子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突。
3、 arp_ignore = 1, arp_announce = 2 的作用是抑制arp广播。如果不做arp抑制,将会有众多的机器向其他宣称:"嗨!我在这里呢!",这样就乱套了。

主从LVS负载调度器 负载均衡

LVS负载调度器 1

vrrp_instance VI_1 {
    state MASTER                                                      
    interface ens32                                                    
    virtual_router_id 51                                               
    priority 100                                                            
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       192.168.200.254

}
}

#########################################

vrrp_instance VI_2 {
    state BACKUP                                                     
    interface ens32                                                    
    virtual_router_id 52                                              
    priority 90                                                           
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       192.168.200.253

}
}

virtual_server 192.168.200.254 80 {
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                    
    protocol TCP

real_server 192.168.200.112 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

##########################################

virtual_server 192.168.200.253 80 {
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                    
    protocol TCP

real_server 192.168.200.112 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

systemctl restart keepalived
LVS负载调度器  2

vrrp_instance VI_1 {                                                 
    state BACKUP                                                      
    interface ens32                                                      
    virtual_router_id 51                                              
    priority 90                                                          
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       192.168.200.254

}
}

#################################

vrrp_instance VI_2 {                                                 
    state MASTER                                                      
    interface ens32                                                      
    virtual_router_id 52                                              
    priority 100                                                          
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       192.168.200.253

}
}

virtual_server 192.168.200.254 80 {
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                     
    protocol TCP

real_server 192.168.200.112 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

#####################################

virtual_server 192.168.200.253 80 {
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                     
    protocol TCP

real_server 192.168.200.112 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
   }

real_server 192.168.200.113 80 {
        weight 1                                           
        TCP_CHECK {
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       }
    }

}

systemctl restart keepalived

原文地址:https://www.cnblogs.com/2567xl/p/11628468.html

时间: 2024-10-17 16:22:15

LVS+keepalived 实现高可用群集的相关文章

LVS+Keepalived构建高可用群集

今天以DR模式的LVS群集为基础,增加了一台从负载调度器,使用keepalived来实现主.备调度服务器的热备,从而构架具有负载均衡.高可用两种能力的LVS网站群集平台. 网站拓扑架构图 系统环境 主机 操作系统 IP地址 DR1主调度服务器: CentOS 7.0 x86_64 192.168.100.25 DR2备调度服务器: CentOS 7.0 x86_64 192.168.100.26 web1节点服务器: CentOS 7.0 x86_64 192.168.100.27 web2节点

LVS+Keepalived实现高可用负载均衡

用LVS+Keepalived实现高可用负载均衡,简单来说就是由LVS提供负载均衡,keepalived通过对rs进行健康检查.对主备机(director)进行故障自动切换,实现高可用. 1. LVS NAT模式配置准备三台服务器,一台director, 两台real serverdr1: 外网ip 192.168.75.130,内网ip 10.1.1.10 两台real serverrs1: 内网ip 10.1.1.11rs2: 内网ip 10.1.1.12 两台real server的内网网

lvs+keepalived实现高可用的web负载均衡

拓扑图 安装keepalived [[email protected] ~]# yum install -y keepalived 修改keepalived MASTER    配置文件 [[email protected] ~]# vim /etc/keepalived/keepalived.conf  ! Configuration File for keepalived   global_defs {    notification_email {      [email protecte

lvs+keepalived 实现高可用

一系统环境 centos6.5 lvs+keepalived(master) lvs+keepalived(slave) nginx(real-server) nginx(real-server) 二.lvs介绍 LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.虚拟服务器最主要的功能是提供包转发和负载均衡,这个功能可以通过ipvsadm 具体实现.ip负载均衡技术包括:VS/NAT.VS/DR.VS/TUN.本文介绍DR方式. 三.k

HaProxy+Keepalived+Mycat高可用群集配置

概述 本章节主要介绍配置HaProxy+Keepalived高可用群集,Mycat的配置就不在这里做介绍,可以参考我前面写的几篇关于Mycat的文章. 部署图: 配置  HaProxy安装 181和179两台服务器安装haproxy的步骤一致 --创建haproxy用户 useradd haproxy --解压完后进入haproxy目录 cd haproxy-1.4.25/ --编译安装 make TARGET=linux26 PREFIX=/usr/local/haproxy ARCH=x86

keepalived实现高可用群集

一,实验架构 本实验由两台keepalived服务器实现高可用群集,最终将master网卡down,使用ping vip的方式进行验证. master 172.24.3.20 slave 172.24.3.25 vip 172.24.3.50 二,实验过程 master与slave安装过程一致 1,安装支持软件kernel-devel, openssl-devel, popt-devel 2,编译安装keepalived 3,使用keepalived服务 4,修改主配文件 master slav

LVS+Keepalived实现高可用集群

Keepalived + LVS 1.操作环境 操作系统平台:CentOS6.5 软件:keepalived-1.2.12.tar.gz Ipvsadm使用yum自带的安装 2.原理技术 LVS提 供负载均衡,keepalived提供健康检查,故障转移,提高系统的可用性!采用这样的架构以后很容易对现有系统进行扩展,只要在后端添加或者减少realserver,只要更改lvs的配置文件即可.Keepalived在这里主要用作RealServer的健康状态检查以及master主机和backup主机之间

LVS + Keepalived 搭建高可用的负载均衡群集

Keepalived 的设计目标是搭建高可用的 LVS 负载均衡群集,可以调用 ipvsadm 工具来创建虚拟服务器.管理服务器池,而不仅仅用作双机热备.使用 Keepalived 搭建 LVS 群集更加简便易用,主要优势体现在:对 LVS 负载调度器实现热备切换,提高可用性:对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入. 本次我们以 DR 模式的 LVS 群集为基础,增加一台从负载调度器,使用 Keepalived 来实现主.从调度器的热备,从而构建兼有负载均衡.高可用两

LVS+Keepalived实现高可用负载均衡群集

一.简介 VS/NAT原理图: 二.系统环境 实验拓扑: 系统平台:CentOS 6.4 Kernel:2.6.32-279.el6.i686 LVS版本:ipvsadm-1.26 keepalived版本:keepalived-1.2.4 三.安装及配置LVS和keepalived 1.在两台Director Server上分别配置LVS+Keepalived LVS install ------------- yum -y install popt-static kernel kernel-