LVS/NAT双主 + keepalived负载均衡实现

一、keepalived简介

keepalived是分布式部署解决系统高可用的软件，结合lvs(LinuxVirtual Server)使用，解决单机宕机的问题。
keepalived是一个基于VRRP协议来实现IPVS的高可用的解决方案。对于LVS负载均衡来说，如果前端的调度器direct发生故障，则后端的realserver是无法接受请求并响应的。因此，保证前端direct的高可用性是非常关键的，否则后端的服务器是无法进行服务的。而我们的keepalived就可以用来解决单点故障（如LVS的前端direct故障）问题。keepalived的主要工作原理是：运行keepalived的两台服务器，其中一台为MASTER，另一台为BACKUP，正常情况下，所有的数据转换功能和ARP请求响应都是由MASTER完成的，一旦MASTER发生故障，则BACKUP会马上接管MASTER的工作，这种切换时非常迅速的。

二、测试环境

下面拿4台虚拟机进行环境测试,实验环境为centos6.6 x86_64,在lvs NAT模式环境下只有前端两台keepalived调度机有公网ip，后端真实机只有内网ip，具体用途和ip如下


服务器类型
公网ip
内网ip

LVS VIP1
192.168.214.70
192.168.211.254

LVS VIP2
192.168.214.71
192.168.211.253

Keepalived host1
192.168.214.76
192.168.211.76

Keepalived host2
192.168.214.77
192.168.211.77

Realserver A
192.168.211.79

       Realserver B
192.168.211.83

拓扑图如下

三、软件安装

1、安装lvs所需包ipvsadm

yum install -y ipvsadm

ln -s /usr/src/kernels/`uname -r`  /usr/src/linux

lsmod |grep ip_vs

#注意Centos 6.X安装lvs，使用1.26版本。并且需要先安装yuminstall libnl* popt* -y

执行ipvsadm(modprobe ip_vs)把ip_vs模块加载到内核

[[email protected] ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port          Forward Weight ActiveConn InActConn

#IP Virtual Server version 1.2.1 ---- ip_vs内核模块版本

2、安装keepalived

yum install -y keepalived

chkconfig keepalived on

注：在centos7系列系统中开机自动启动使用systemctl enable keepalived

四、开启路由转发 

在lvs/NAT模式下前端两台调度机192.168.211.76和192.168.211.77上需要开启路由转发功能

vi /etc/sysctl.conf

修改net.ipv4.ip_forward = 0为net.ipv4.ip_forward= 1

保存退出后，使用systcl –p命令让其生效

五、keepalived配置

先看下211.76 keepalived配置文件

根据拓扑图得知211.76对应的是vip1 192.168.214.70的主，vip2192.168.214.71的备。

具体详细的参数说明见上篇LVS/DR + keepalived负载均衡实现

[[email protected] ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server mail.test.com
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_sync_group VG1 {        #lvs vip1组
   group {
      VI_1
      VI_GATEWAY1
   }
} 
vrrp_sync_group VG2 {   #lvs vip2组
   group {
      VI_2
      VI_GATEWAY2
   }
} 

vrrp_instance VI_GATEWAY1 {      #lvs vip1的配置
    state MASTER
    interface eth1
    lvs_sync_daemon_inteface eth1
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.211.254
    }
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    lvs_sync_daemon_inteface eth0
    virtual_router_id 52
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    192.168.214.70  
    }
}
vrrp_instance VI_GATEWAY2 {  #lvs vip2的配置
    state BACKUP
    interface eth1
    lvs_sync_daemon_inteface eth1
    virtual_router_id 53
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.211.253
    }
}
vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    lvs_sync_daemon_inteface eth0
    virtual_router_id 54
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    192.168.214.71
    }
}

virtual_server 192.168.214.70 80 {     #vip1 
    delay_loop 6
    lb_algo rr
    lb_kind NAT
    #nat_mask 255.255.255.0
    persistence_timeout 10
    protocol TCP

    real_server 192.168.211.79 80 {       #vip1对应的后端真实机
        weight 100
        TCP_CHECK {
            connect_timeout 3
            connect_port 80
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
virtual_server 192.168.214.71 8080 {     #vip2
    delay_loop 6
    lb_algo rr
    lb_kind NAT
   #nat_mask 255.255.255.0
    persistence_timeout 10
    protocol TCP

   real_server 192.168.211.83 8080 {   #vip2对应的后端真实机
        weight 100
        TCP_CHECK {
            connect_timeout 3
            connect_port 8080
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

再看下211.77 keepalived配置文件

根据拓扑图得知211.77对应的是vip1 192.168.214.70的备，vip2192.168.214.71的主。

[[email protected] ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
  notification_email {
    [email protected]
   }
  notification_email_from [email protected]
  #smtp_server 192.168.200.1
  smtp_connect_timeout 30
  router_id LVS_DEVEL
}
vrrp_sync_group VG1 {
  group {
     VI_1
     VI_GATEWAY1
   }
} 
vrrp_sync_group VG2 {
  group {
     VI_2
     VI_GATEWAY2
   }
} 

vrrp_instance VI_GATEWAY1 {
   state BACKUP
   interface eth1
   lvs_sync_daemon_inteface eth1
    virtual_router_id51
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
    }
   virtual_ipaddress {
       192.168.211.254
    }
}
vrrp_instance VI_1 {
   state BACKUP
   interface eth0
   lvs_sync_daemon_inteface eth0
   virtual_router_id 52
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
    }
   virtual_ipaddress {
   192.168.214.70     
    }
}
vrrp_instance VI_GATEWAY2 {
   state MASTER
    interfaceeth1
   lvs_sync_daemon_inteface eth1
   virtual_router_id 53
   priority 150
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
    }
   virtual_ipaddress {
       192.168.211.253
    }
}
vrrp_instance VI_2 {
   state MASTER
   interface eth0
   lvs_sync_daemon_inteface eth0
   virtual_router_id 54
   priority 150
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
    }
   virtual_ipaddress {
   192.168.214.71
    }
}

virtual_server 192.168.214.70 80 {
   delay_loop 6
   lb_algo rr
   lb_kind NAT
   #nat_mask 255.255.255.0
   persistence_timeout 10
   protocol TCP

   real_server 192.168.211.79 80 {
       weight 100
       TCP_CHECK {
           connect_timeout 3
           connect_port 80
           nb_get_retry 3
           delay_before_retry 3
       }
    }
}
virtual_server 192.168.214.71 8080 {
   delay_loop 6
   lb_algo rr
   lb_kind NAT
  #nat_mask 255.255.255.0
   persistence_timeout 10
   protocol TCP

  real_server 192.168.211.83 8080 {
       weight 100
       TCP_CHECK {
           connect_timeout 3
           connect_port 8080
           nb_get_retry 3
           delay_before_retry 3
       }
    }
}

六、后端真实机配置

后端web应用机器192.168.211.79需要配置默认网关为vip1内网ip地址192.168.211.254，web应用机器192.168.211.83需要配置默认网关为vip2内网ip地址192.168.211.253

注意，线上环境如果更改默认网关为vip内网地址后，可能会造成连接不上服务器，需要提前添加相关静态路由。

七、启动keepalived服务及查看相关信息

在211.76和211.77上分别启动keepalived服务

在211.76主机上查看信息

通过ip addr可以看到vip1 地址已经绑定在eth0和eth1网口上

[[email protected] ~]# ip addr

1: lo: <LOOPBACK,UP,LOWER_UP> mtu65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:55:b2:d4 brd ff:ff:ff:ff:ff:ff

inet 192.168.214.76/24 brd 192.168.214.255 scope global eth0

inet 192.168.214.70/32 scope global eth0

inet6 fe80::5054:ff:fe55:b2d4/64 scope link

valid_lft forever preferred_lft forever

3: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:85:11:95 brd ff:ff:ff:ff:ff:ff

inet 192.168.211.76/24 brd 192.168.211.255 scope global eth1

inet192.168.211.254/32 scope global eth1

inet6 fe80::5054:ff:fe85:1195/64 scope link

valid_lft forever preferred_lft forever

在211.76上查看日志信息，看到已成功进入keepalived vip1组的主机模式，vip2组的备机模式。

在211.77主机上查看信息

通过ip addr可以看到vip2 地址已经绑定在eth0和eth1网口上

[[email protected] ~]# ip addr

1: lo: <LOOPBACK,UP,LOWER_UP> mtu65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:1b:a2:11 brd ff:ff:ff:ff:ff:ff

inet 192.168.214.77/24 brd 192.168.214.255 scope global eth0

inet 192.168.214.71/32 scope global eth0

inet6 fe80::5054:ff:fe1b:a211/64 scope link

valid_lft forever preferred_lft forever

3: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:64:47:7d brd ff:ff:ff:ff:ff:ff

inet 192.168.211.77/24 brd 192.168.211.255 scope global eth1

inet192.168.211.253/32 scope global eth1

inet6 fe80::5054:ff:fe64:477d/64 scope link

valid_lft forever preferred_lft forever

在211.77上查看日志信息，看到已成功进入keepalived vip1组的备机模式，vip2组的主机模式。

通过ipvsadm -L –n 查看相应lvs连接信息

211.76上查看

[[email protected] ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.214.70:80 rr persistent 10

-> 192.168.211.79:80           Masq    100    3         5

TCP 192.168.214.71:8080 rr persistent 10

-> 192.168.211.83:8080         Masq    100    0         0

211.77上查看

[[email protected] ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP 192.168.214.70:80 rr persistent 10

-> 192.168.211.79:80           Masq    100    0         0

TCP 192.168.214.71:8080 rr persistent 10

-> 192.168.211.83:8080         Masq    100    3         4

八、keepalived测试

使用vip1地址192.168.214.70访问后端web192.168.211.79的页面

使用vip2地址192.168.214.71访问后端web192.168.211.83的页面

正常访问没问题后，我们来模拟lvs集群故障，把前端lvs调度机主机211.76宕机，看211.77能否把vip1的地址漂移过来

通过ip addr命令查看发现vip1的地址都已经漂移过来了

[[email protected] ~]# ip addr

1: lo: <LOOPBACK,UP,LOWER_UP> mtu65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:1b:a2:11 brd ff:ff:ff:ff:ff:ff

inet 192.168.214.77/24 brd 192.168.214.255scope global eth0

inet 192.168.214.71/32 scope global eth0

inet 192.168.214.70/32scope global eth0

inet6 fe80::5054:ff:fe1b:a211/64 scope link

valid_lft forever preferred_lft forever

3: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

link/ether 52:54:00:64:47:7d brd ff:ff:ff:ff:ff:ff

inet 192.168.211.77/24 brd 192.168.211.255 scope global eth1

inet 192.168.211.253/32 scope global eth1

inet192.168.211.254/32 scope global eth1

inet6 fe80::5054:ff:fe64:477d/64 scope link

valid_lft forever preferred_lft forever

再211.77上通过日志查看，看到vip1的地址已漂移了过来，变成了主机状态

May 15 14:38:26 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_1) Transitionto MASTER STATE

May 15 14:38:26 localhostKeepalived_vrrp[11898]: VRRP_Group(VG1) Syncing instances to MASTER state

May 15 14:38:26 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_GATEWAY1) Transitionto MASTER STATE

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_GATEWAY1)Entering MASTER STATE

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_GATEWAY1) setting protocol VIPs.

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_GATEWAY1) Sending gratuitous ARPs oneth1 for 192.168.211.254

May 15 14:38:27 localhostKeepalived_healthcheckers[11897]: Netlink reflector reports IP 192.168.211.254added

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_1) EnteringMASTER STATE

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_1) setting protocol VIPs.

May 15 14:38:27 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for192.168.214.70

May 15 14:38:27 localhostKeepalived_healthcheckers[11897]: Netlink reflector reports IP 192.168.214.70added

May 15 14:38:32 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_GATEWAY1) Sending gratuitous ARPs oneth1 for 192.168.211.254

May 15 14:38:32 localhostKeepalived_vrrp[11898]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for192.168.214.70

如果想了解更多，请关注我们的公众号
公众号ID:opdevos
扫码关注

原文地址：http://blog.51cto.com/5ydycm/2118113

时间： 2024-11-05 14:26:59

LVS/NAT双主 + keepalived负载均衡实现的相关文章

mysql主从之LVS+keepalived+双主MySQL 负载均衡

LVS(Linux Virtual Server)即Linux 虚拟服务器,是一个的开源负载均衡项目,目前LVS 已经被集成到Linux 内核模块中.LVS 是四层负载均衡,也就是说建立在OSI 模型的第四层——传输层之上,传输层上有我们熟悉的TCP/UDP,LVS 支持TCP/UDP 的负载均衡. 一 环境 192.168.132.120    VIP192.168.132.123   LVS01,keepalived192.168.132.124   LVS02,keepalived192.

LVS NAT和DR的负载均衡，及算法

LVS负载均衡集群介绍负载均衡集群的作用:提供一种廉价.有效.透明的方法,来扩展网络设备和服务器的负载带宽.增加吞吐量,加强网络数据处理能力.提高网络的灵活性和可用性.1)把单台计算机无法承受的大规模的并发访问或数据流量分担到多台节点设备上分别处理,减少用户等待响应的时间,提升用户体验.2)单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备处理结束后,将结果汇总,返回给用户,系统处理能力得到大幅度提高.3)7*24小时的服务保证,任意一个或多个设备节点设备宕机,不能影响到业务.在负载均

构建基于地址转换（LVS—NAT）模式的负载均衡群集

此博文是案例博文,关于LVS负载均衡群集的原理及相关概述,请参考博文:Centos 7之LVS负载均衡群集 一.案例简介 1.案例环境 2.实验结果 使用NAT模式的群集技术,LVS负载调度器是所有节点访问Internet的网关服务器,其192.168.200.10作为整个群集的VIP地址. 使用轮询(rr)的调度算法. web1和web2先搭建web服务,分别准备不同的网页文件,供客户端访问,以此来确定client访问LVS服务器的192.168.200.10,可以访问到两台web服务器. 待

LVS+Keepalived负载均衡双主架构全攻略

二.LVS+Keepalived负载均衡双主互备架构 IP信息清单:名称 IP LVS-DR-Master 192.168.2.98 LVS-DR-Backup 192.168.2.99 LVS-DR-VIP1 192.168.2.100 LVS-DR-VIP2 192.168.2.105 Realserver01 192.168.2.101 Realserver02 192.168.2.102 Realserver03 192.168.2.103 Realserver04 192.168.2.

LVS+Keepalived负载均衡主备

LVS+Keepalived 介绍LVSLVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一.目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR):十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq). KeepalviedKeepalived在这里主要用作RealServer的健康状态检查以及LoadBal

LVS/NAT + keepalived负载均衡实现

一.keepalived简介 keepalived是分布式部署解决系统高可用的软件,结合lvs(LinuxVirtual Server)使用,解决单机宕机的问题.keepalived是一个基于VRRP协议来实现IPVS的高可用的解决方案.对于LVS负载均衡来说,如果前端的调度器direct发生故障,则后端的realserver是无法接受请求并响应的.因此,保证前端direct的高可用性是非常关键的,否则后端的服务器是无法进行服务的.而我们的keepalived就可以用来解决单点故障(如LVS的前

MySQL 高可用：mysql+Lvs+Keepalived 负载均衡及故障转移

转自 MySQL 高可用:mysql+Lvs+Keepalived 负载均衡及故障转移 - KK ——专注数据 - 博客频道 - CSDN.NEThttp://blog.csdn.net/kk185800961/article/details/51115264# 系统信息: mysql主库 192.168.1.152 CentOS 5.6 mysql 5.6.22 mysql从库 192.168.1.153 CentOS 5.6 mysql 5.6.22 VIP 192.168.1.150 my

搭建LVS+Keepalived负载均衡集群

这两天学习了LVS+Keepalived负载均衡的搭建.网上的教程非常多,可是动起手来遇到不少问题. 如今把自己的搭建过程以及遇到的一些问题给分享下. 硬件环境: Macbook 8G内存.250G SSD,双核 软件环境: 因为资源有限.搭建了4个虚拟机. 虚拟机 [[email protected] work]# uname -a Linux rs-1 2.6.18-238.el5 #1 SMP Thu Jan 13 15:51:15 EST 2011 x86_64 x86_64 x86_6

CentOS7 搭建LVS+keepalived负载均衡

CentOS7 搭建LVS+keepalived负载均衡(一) 本文中只涉及一台负载均衡服务器,和两台真实服务器,主要是初步体验负载均衡:实际的环境中,lvs和keepalived一起用才是黄金搭档,下篇将继续讲述lvs+keepalived的搭建过程 一.本次搭建的系统架构图- 虚拟机:VirtualBox- virtaulbox host-only的IP地址:192.168.137.1- 所用系统:CentOS7- 真实web服务器(RS1):192.168.137.5- 真实web服务器(