Linux集群之高可用负载均衡lvs+keepalived

LVS简介

LVS介绍

LVS是Linux Virtual Server的缩写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统,属于4层负载均衡

ipvs和ipvsadm的关系

我们使用配置LVS的时候,不能直接配置内核中的ipvs,需要使用ipvs的管理工具ipvsadm进行管理　　

LVS术语

LVS转发原理

LVS负载均衡器接受所有入站请求,并根据调度算法决定哪个realserver处理该请求

LVS调度算法

  • 轮询（rr）：按照请求顺序轮流分发到后端RS
  • 加权轮询（wrr）：权值高的获得的任务更多
  • 最小连接数（lc）：动态的将请求建立到连接数较少的RS上
  • 加权最小连接数（wlc）：调度器自动询问RS的真实负载情况，并动态的调整权

LVS调度算法生产环境选型

一般的网络服务,如:http、mail、MySQL等,常用的调度算法为：

  • 基本轮询调度rr算法
  • 加权轮询调度wrr算法
  • 加权最小连接调度wlc算法

LVS转发模式

  • NAT(Network Address Translation)
  • DR(Direct Routing)
  • TUN

LVS-DR模式

转发流程

将所有入站请求转发给后端realserver,后端realserver处理完直接将结果发给客户端

原理

当用户请求到达Direct Server,此时报文的源IP为CIP、MAC为CIP-MAC,目标IP为VIP、MAC为VIP-MAC
Direct Server根据调度算法确定一台处理请求的realserver,将请求转发给对应的realserver,此时源IP和目标IP均未改变,仅修改了源MAC为DIP-MAC,目标MAC为RIP-MAC
对应的realserver处理完请求,直接将结果发给客户端,此时源IP为VIP、MAC为VIP-MAC,目标IP为CIP、MAC为CIP-MAC

特性

  • 通过在调度器上修改数据包的目的MAC地址实现转发
  • Real-Server和Direct-Server必须在同一网段
  • Real-Server的lo接口必须绑定VIP

为什么要抑制ARP请求

  • 由于后端Real-Server要将VIP绑定到lo网卡上,这就出现了一个问题,客户端请求到达LVS前端路由器的时候,前端路由器会发送一个{*目标地址为VIP*}的请求报文,所以需要抑制Real-Server的ARP,保证让Direct-Server收到这个报文,而不是realserver收到这个报文
  • /proc/sys/net/ipv4/conf/all/arp_ignore 的值为1，/proc/sys/net/ipv4/conf/lo/arp_ignore 的值为1
  • /proc/sys/net/ipv4/conf/all/arp_announce的值为2，/proc/sys/net/ipv4/conf/lo/arp_announce的值为2
  • 一句话说明抑制Real-Server原因:保证前端路由将目标地址为VIP的报文发给Direct-Server,而不是Real-Server

优势

只有请求报文经过调度器,而Real-Server响应处理后无需经过调度器,因此并发量大的时候效率很高

LVS-NAT模式

转发流程

将所有入站请求转发给后端Real-Server,后端Real-Server处理完再发给Direct-Server,Direct-Server再发给客户端

特性

  • 既有RIP也有VIP
  • Real-Server必须得跟Direct-Server在同一网段
  • Real-Server必须将网关指向Direct-Server

优势

只需要一个公网IP给Direct-Server,Direct-Server始终跟外接打交道

劣势

需要依赖Direct-Server把请求转发给Real-Server,Real-Server处理完把结果发给Direct-Server,Direct-Server再把结果转发出去,并发高的时候会成为瓶颈

LVS三种模式对比

ipvsadm介绍

ipvsadm参数

添加虚拟服务器
    语法:ipvsadm -A [-t|u|f]  [vip_addr:port]  [-s:指定算法]
    -A:添加
    -t:TCP协议
    -u:UDP协议
    -f:防火墙标记
    -D:删除虚拟服务器记录
    -E:修改虚拟服务器记录
    -C:清空所有记录
    -L:查看
添加后端RealServer
    语法:ipvsadm -a [-t|u|f] [vip_addr:port] [-r ip_addr] [-g|i|m] [-w 指定权重]
    -a:添加
    -t:TCP协议
    -u:UDP协议
    -f:防火墙标记
    -r:指定后端realserver的IP
    -g:DR模式
    -i:TUN模式
    -m:NAT模式
    -w:指定权重
    -d:删除realserver记录
    -e:修改realserver记录
    -l:查看
通用:
    ipvsadm -ln:查看规则
    service ipvsadm save:保存规则

ipvsadm配置LVS负载均衡

需求

用LVS实现后端两台httpd的负载均衡

环境说明 

lb01　　 192.168.0.91 lvs
realserver-1 192.168.0.92 httpd
realserver-2 192.168.0.93　　 httpd
test 192.168.0.94　　 用来测试负载均衡

负载均衡器端

安装LVS
    yum -y install ipvsadm
    ipvsadm
添加绑定VIP
    ip addr add 192.168.0.89/24 dev eth0 label eth0:1
配置LVS-DR模式
    ipvsadm -A -t 192.168.0.89:80 -s rr
    ipvsadm -a -t 192.168.0.89:80 -r 192.168.0.93 -g
    ipvsadm -a -t 192.168.0.89:80 -r 192.168.0.94 -g

Real-Server端

配置测试后端realserver

    配置httpd省略
    curl 192.168.0.93 #测试realserver-1网站是否正常
    192.168.0.93
    curl 192.168.0.94 #测试realserver-2网站是否正常
    192.168.0.94
绑定VIP到lo网卡
    ip addr add 192.168.0.89/32 dev lo label lo:1  #由于DR模式需要realserver也有VIP
抑制ARP
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore

客户端测试

[[email protected] ~]#curl 192.168.0.89
192.168.0.93
[[email protected] ~]#curl 192.168.0.89
192.168.0.94

配置LVS+keepalived

需求

  • LVS给两台httpd做负载均衡
  • keepalived做lvs高可用,同时做Real-Server健康检查,如果发现Real-Server80端口没开,就认为故障,从集群中剔除
  • 在keepalived配置文件内就能配置LVS　　

环境说明

lb01　　 192.168.0.91 lvs keepalived-master

lb02

 192.168.0.92 lvs keepalived-backup
realserver-1 192.168.0.93 httpd
realserver-2 192.168.0.94 httpd

在负载均衡器端配置lvs+keepalived

lb01节点

vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
##################全局配置##########################
global_defs {
    #如有故障,发邮件地址
    notification_email {
    [email protected]              #收件人
    }
    notification_email_from [email protected]  #keepalived报警邮件,发件人
     smtp_server 192.168.200.1  #邮件服务器地址
    smtp_connect_timeout 30     #邮件服务器超时时间
    router_id LVS_01             #类似于MySQL的server-id,每个keepalived节点不能相同
}
#################keepalived配置#####################
vrrp_instance VI_1 {
    state MASTER              #keepalived角色,MASTER和BACKUP
    interface eth0            #通信接口,下面的virtual_ipaddress(VIP)绑定到这个网卡
    virtual_router_id 51      #vrrp_instance的唯一标识
    priority 150              #keepalived权重,数值越大权重越大,MASTER应大于BACKUP
    advert_int 1              #发送心跳间隔,如果backup1秒收不到心跳就接管,单位是秒
    authentication {          #每个keepalived节点通过这里设置的验证通信,必须得设置成一样
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.89/24       #VIP
    }
}
##################LVS配置##############
#添加虚拟服务器
#相当于 ipvsadm -A -t 192.168.0.89:80 -s wrr
virtual_server 192.168.0.89 80 {
    delay_loop 6             #服务健康检查周期,单位是秒
    lb_algo wrr                 #调度算法
    lb_kind DR                 #模式
    nat_mask 255.255.255.0
    persistence_timeout 50   #回话保持时间,单位是秒
    protocol TCP             #TCP协议转发
#添加后端realserver
#相当于 ipvsadm -a -t 192.168.0.89:80 -r 192.168.0.93:80 -w 1
    real_server 192.168.0.93 80  {    #realserver的真实IP
        weight 1                      #权重
        #健康检查
        TCP_CHECK {
            connect_timeout 8         #超时时间
            nb_get_retry 3            #重试次数
            delay_before_retry 3      #重试间隔
            connect_port 80           #检查realserver的80端口,如果80端口没监听,就会从集群中剔除
        }
    }
    real_server 192.168.0.94 80  {
        weight 1
        TCP_CHECK {
           connect_timeout 8
           nb_get_retry 3
           delay_before_retry 3
           connect_port 80
        }
    }

}

lb02节点

 vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
################全局配置###########################
global_defs {
    notification_email {
    }
    notification_email_from [email protected]
    smtp_server 192.168.200.1
    smtp_connect_timeout 30
        router_id LVS_02
}
################keepalived配置#####################
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.89/24
    }
}
################lvs配置##########################
virtual_server 192.168.0.89 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP
    real_server 192.168.0.93 80  {
        weight 1
        TCP_CHECK {
            connect_timeout 8
            nb_get_retry 3
            delay_before_retry 3
             connect_port 80
        }
    }
    real_server 192.168.0.94 80  {
        weight 1
        TCP_CHECK {
         connect_timeout 8
         nb_get_retry 3
         delay_before_retry 3
         connect_port 80
        }
    }

                }

配置后端Real-Server

确保网站服务是正常的
    curl 192.168.0.93
    192.168.0.93
    curl 192.168.0.94
    192.168.0.94
绑定VIP到lo网卡
    ip addr add 192.168.0.89/32 dev lo label lo:0
抑制ARP
    [[email protected] ~]#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    [[email protected] ~]#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    [[email protected] ~]#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    [[email protected] ~]#echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore

客户端测试

  • 负载均衡是否正常
  • 后端Real-Server出问题是否自动剔除
  • lvs高可用是否正常,提供服务的LVS宕机,vip漂移到另一台LVS继续提供服务
时间： 2024-12-10 10:18:00

Linux集群之高可用负载均衡lvs+keepalived的相关文章

keepalived实现WEB服务集群的高可用负载均衡

要求:利用keepalived实现WEB服务集群的高可用负载均衡,即在lvs_dr模型中扮演director的角色,对来自用户的请求按照一定的算法分配至后端服务器中:且keepalived服务器可实现高可用. keepalived是vrrp协议的一种实现,专门为lvs设计,以实现对lvs高可用就集群中的dirctor进行冗余以及对realserver进行健康检测.当一台主机(MASTER)出现问题后,keepalived能够将VIP自动的分配到备用的主机上(BACKUP),从而实现了自身(dir

高可用负载均衡 haproxy+keepalived

服务器 20.0.0.206    10.0.0.206 bs-hk-hk01 高可用负载均衡节点 2c2g 20.0.0.207    10.0.0.207 bs-hk-hk02 高可用负载均衡节点 2c2g 软件版本 Keepalived 2.0.20 haproxy 2.1.2 Keepalived 安装配置 两个节点都安装 以bs-hk-hk01为例 #安装依赖包 [[email protected]-hk-hk01 tools]#yum -y install gcc openssl-d

Linux集群实现高可用--keepalived

高可用:lvs本身不支持高可用: 在lvs集群中,可能有两种故障: 1.Director故障不可用: keepalived:原生的lvs的Director高可用解决方案: heartbeat corosync/pacemaker:通用的高可用解决方案: 2.后端RS故障不可用: lvs的Director不考虑后端RS的可用与否,只是按照调度算法进行客户端请求调度: 完整的实现:周期性的对各个RS进行健康状态检测: 检测失败:应该从lvs集群服务中将对应的RS移除: 检测成功:将对应RS重新加入l

Linux集群系列——高可用集群之corosync基础概念及安装配置.

高可用衡量标准 :corosync : 集群管理引擎 SA Forum -->OpenAIS-->Wilson-->corosync 向后延伸为衍生出来的版本REHL 6.x RHCS :corosyncREHL 5.x RHCS :OpenAIS , cman ,rgmanager corosync : Messaging Layer 需要CRM (+ pacemaker)SUSE Linux Enterprise server Hawk WEB GUILCMC : Linux Clu

HaProxy + Keepalived 实现高可用负载均衡

软件负载均衡一般通过两种方式来实现:基于操作系统的软负载实现和基于第三方应用的软负载实现.LVS就是基于Linux操作系统实现的一种软负载,HAProxy就是开源的并且基于第三应用实现的软负载. HAProxy相比LVS的使用要简单很多,功能方面也很丰富.当前,HAProxy支持两种主要的代理模式:"tcp"也即4层(大多用于邮件服务器.内部协议通信服务器等),和7层(HTTP).在4层模式下,HAProxy仅在客户端和服务器之间转发双向流量.7层模式下,HAProxy会分析协议,并且

Linux高可用负载均衡 集群理解

高可用集群HA的实现方式Heartbeat 当然还有其它如Keeplive 负载均衡群集LB的实现方式. (1).硬件LB(比较出名的)F5;BIG-IP系列.Citri;公司的 NetScaler系列.A10 公司的 AX系列 (2).软件LB 四层:LVS(Linux VirtualServer) 注:国人开发的.七层:Nginx,HAProxy 高可用负载均衡 在配置HA时  服务器的VIP不需要在setup中设置子接口,heartbeat会创建 在配置LB时  LB服务器的VIP 需要在

Linux 高可用负载均衡集群的部署

高可用负载均衡集群 ipvs 负载均衡常用的有四种模式 DR NAT TUN FULLNET 实验环境:准备四台rhel6.5的虚拟机四台.一台作为调度器server1,两台作为real server(server3,4),heartbeat服务关闭 172.25.50.10 server1.example.com 172.25.50.20 server2.example.com 172.25.50.30 server3.example.com 172.25.50.250 real50.exam

nginx+keepalived的高可用负载均衡集群构建

实验架构图: 实验环境 Nginx和Keepalived原理介绍 参考博客:http://467754239.blog.51cto.com/4878013/1541421 1.nginx Nginx进程基于于Master+Slave(worker)多进程模型,自身具有非常稳定的子进程管理功能.在Master进程分配模式下,Master进程永远不进行业务处理,只是进行任务分发, 从而达到Master进程的存活高可靠性,Slave(worker)进程所有的业务信号都 由主进程发出,Slave(wor

haproxy+keepalived实现高可用负载均衡web集群

haproxy+keepalived实现高可用负载均衡web集群 负载均衡集群的概念 负载均衡是设计分布式系统架构必须要考虑的因素之一,它指的是通过调度分发的方式尽可能将"请求"."访问"的压力负载平均分摊到集群中的各个节点,避免有些节点负载太高导致访问延迟,而有些节点负载很小导致资源浪费.这样,每个节点都可以承担一定的访问请求负载压力,并且可以实现访问请求在各节点之间的动态分配,以实现负载均衡,从而为企业提供更高性能,更加稳定的系统架构解决方案. 高可用集群的概念