Keepalived + nginx实现高可用性和负载均衡

在前面的一篇中讲到了Heartbeat作为高可用服务架构的解决方案，今天有试验了一种全新的解决方案，即采用Keepalived来实现这个功能。

Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived可以用来防止服务器单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，通过配合Nginx可以实现web前端服务的高可用。

Keepalived实现的基础是VRRP协议，Keepalived就是巧用VRRP协议来实现高可用性(HA)的.

VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外IP的路由器如果工作正常的话就是MASTER，或者是通过算法选举产生，MASTER实现针对虚拟路由器IP的各种网络功能，如ARP请求，ICMP，以及数据的转发等；其他设备不拥有该IP，状态是BACKUP，除了接收MASTER的VRRP状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP将接管原先MASTER的网络功能。

VRRP协议使用多播数据来传输VRRP数据，VRRP数据使用特殊的虚拟源MAC地址发送数据而不是自身网卡的MAC地址，VRRP运行时只有MASTER路由器定时发送VRRP通告信息，表示MASTER工作正常以及虚拟路由器IP(组)，BACKUP只接收VRRP数据，不发送数据，如果一定时间内没有接收到MASTER的通告信息，各BACKUP将宣告自己成为MASTER，发送通告信息，重新进行MASTER选举状态。

1. 安装Keeplived依赖

安装keepalived之前，也要安装一些依赖库

安装 openssl

yum install openssl*

安装popt

yum install popt*

安装ipvsadm

yum isntall ipvsadm

安装libnl-dev

yum install libnl-dev*

2. 安装Keepalived

keepalived安装包地址：

http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

下载解压后编译配置

./configure --prefix=/usr/local/keepalived

编译配置需要确保一下几项为Yes状态：

Use IPVS Framework : Yes IPVS sync daemon support : Yes IPVS use libnl : Yes Use VRRP Framework : Yes

然后就可以编译安装了：

make && make install

因为没有使用keepalived的默认路径安装（默认是/usr/local）,安装完成之后，需要做一些工作

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
#复制keepalived启动文件到默认路径，也可以通过设置环境变量的path实现

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
#复制服务启动脚本到，以便可以通过service控制keepalived服务

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
#复制keepalived服务脚本到默认的地址，也通过修改init.d/keepalived文件中的相应配置实现

mkdir -p /etc/etc/keepalived/
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
vi /etc/keepalived/keepalived.conf
#复制默认配置文件到默认路径，其实也可以在/etc/init.d/keepalived中设置路径

chkconfig keepalived on
#开机启动服务

3. 配置Keepalived

接下来就是配置了，很简单，直接上配置文件

先是主服务器：

global_defs
{
notification_email    #通知email，根据实际情况配置
{
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
stmp_connect_timeout 30
router_id node1         #节点名标识，主要用于通知中
}

vrrp_instance VI_NODE {
  state MASTER          #配置为主服务器
  interface eth0        #通讯网卡
  virtual_router_id 100 #路由标识
  priority 200          #优先级，0-254
  advert_int 5          #通知间隔，实际部署时可以设置小一点，减少延时

  authentication {
    auth_type PASS
    auth_pass 123456    #验证密码，用于通讯主机间验证
  }

  virtual_ipaddress {
    192.168.1.206       #虚拟ip，可以定义多个
  }
}

接下是从服务器设置：

global_defs {
  notification_email {
    [email protected]
  }
  notification_email_from [email protected]
  smtp_server 127.0.0.1
  stmp_connect_timeout 30
  router_id node2
}

vrrp_instance VI_NODE {
  state BACKUP           #与主服务器对应
  interface eth0         #从服务器的通信网卡
  virtual_router_id 100  #路由标识，和主服务器相同
  priority 100           #优先级，小于主服务器即可
  advert_int 5           #这里是接受通知间隔，与主服务器要设置相同

  authentication {
   auth_type PASS
    auth_pass 123456     #验证密码，与主服务器相同
  }

  virtual_ipaddress {
    192.168.1.206        #虚拟IP，也要和主服务器相同
  }
}

上面的设置是最基础的设置，实现的功能是如果主服务器的Keepalived停止服务（一般情况下服务器宕机），则将虚拟IP切换至从服务器，主服务器恢复后从新切换回主服务器。

但是很多情况下我们面临的处境是nginx挂掉了，而这个时候Keepalived就不能发挥作用，这时候就需要我们来改良下Keepalived了。通过向Keepalived添加一个自定义脚本来监控neginx的运行状态，如果nginx进程结束，则kill Keepalived进程，以此来达到主从服务器的切换功能。

我们在修改上面配置的主服务器的配置文件，在中间添加脚本实现

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id nginx_master
}
vrrp_script chk_http_port {
   script "/usr/local/keepalived/nginx.sh"  #在这里添加脚本链接
   interval 3       #脚本执行间隔
   weight 2         #脚本结果导致的优先级变更
}
vrrp_instance VI_NODE {
    state MASTER
    interface eth0
    virtual_router_id 100
    priority 200
    advert_int 5
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    track_script {
        chk_http_port     #添加脚本执行
    }
    virtual_ipaddress {
        192.168.1.206
    }
}

具体的配置可以参考另一篇文章Keepalived配置详解

如果我们使用了LVS+Keepalived集成，那么keepalived可以代替ipvsadm来配置LVS，可以方便的通过配置就可以搞定，这在另一篇文章Keepalived+LVS配置详解

修改完配置文件我们写我们的上面配置的nginx.sh，当然我们假定Nginx已经安装完成

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then
   killall keepalived
fi

上面的脚本简单的查看nginx进程是否存在，不存在就kill keepalived进程。

接下来我们对上面的哦脚本修改一下，当脚本检测到nginx没有运行的时候会尝试去启动nginx以此，如果失败则停掉keepalived进程

#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
  /usr/local/nginx/sbin/nginx #nginx命令的路径
  sleep 3
  if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
    killall keepalived
  fi
fi

把脚本保存到上面配置的具体路径（我这里是/usr/local/keepalived）,然后很重要的一步是修改脚本的执行权限

chmod +x nginx.sh

4. 运行Keepalived

配置完成后就可以运行看下效果了,分别在主从服务器上启动nginx和keepalived

service keepalived start

启动之后通过·ip a·命令查看主服务器的网络信息，可以看到在eth0网卡下生成了192.168.1.206这个虚拟ip，并可通过这个ip访问到nginx

然后我们关闭nginx的进程（如果配置了一次尝试重启那要注意下），然后我们可以通过ps -e查看keepalived进程是否关闭，正常情况下查看网络信息中，可以看到eth0网卡下的虚拟ip已经解除，然后在从服务器的网络信息中可以看到从服务器的eth0网卡绑定了虚拟ip，通过这个ip就访问到了从服务器的nginx去了，这是我们重新启动主服务器的nginx和keepalieved，我们可以发现虚拟ip就绑回到了主服务器。

这样就实现了基本双击主从热备功能了。

这里注意下防火墙的问题，就是这问题困扰了我很久。找了一些资料才将问题解决

因为Keepalived之间是通过组播来通知对方的是否存活，以及发送优先级的，并且通过组播来选举MASTER的，而224.0.0.18就是常用的组播地址，防火墙开启允许这个组播地址通信就可以了：

1.如果用的是默认防火墙,只需要添加：

iptables -I RH-Firewall-1-INPUT -d 224.0.0.18 -j ACCEPT

2.如果是自己用脚本设置的防火墙，需要添加如下规则

iptables -A OUTPUT -o eth0 -d 224.0.0.18 -j ACCEPT iptables -A OUTPUT -o eth0 -s 224.0.0.18 -j ACCEPT iptables -A INPUT -i eth0 -d 224.0.0.18 -j ACCEPT iptables -A INPUT -i eth0 -s 224.0.0.18 -j ACCEPT

5. 总结

  • keepalived通过虚拟路由实现双机热备，相比其他方案具有一定的优越性
  • 因为是固定主从热备，该方案比较适合两个互备服务器性能有差异的情况
  • Keepalived同样可以实现双主互备，通过设置互为主备，然后通过DNS负载均衡到不同vip就可以实现
时间： 2024-10-28 09:07:12

Keepalived + nginx实现高可用性和负载均衡的相关文章

keepalived+nginx双机热备+负载均衡

keepalived+nginx双机热备+负载均衡 最近因业务扩展,需要将当前的apache 转为nginx(web), 再在web前端放置nginx(负载均衡).同时结合keepalived 对前端nginx实现HA. nginx进程基于于Master+Slave(worker)多进程模型,自身具有非常稳定的子进程管理功能.在Master进程分配模式下,Master进程永远不进行业务处理,只是进行任务分发,从而达到Master进程的存活高可靠性,Slave(worker)进程所有的业务信号都

Keepalived+Nginx实现高可用负载均衡集群

一 环境介绍 1.操作系统CentOS Linux release 7.2.1511 (Core) 2.服务keepalived+lvs双主高可用负载均衡集群及LAMP应用keepalived-1.2.13-7.el7.x86_64nginx-1.10.2-1.el7.x86_64httpd-2.4.6-45.el7.centos.x86_64 二 原理及拓扑图 1.vrrp协议在现实的网络环境中,两台需要通信的主机大多数情况下并没有直接的物理连接.对于这样的情况,它们之间路由怎样选择?主机如何

LVS+Keepalived+Nginx+Tomcat高可用负载均衡集群配置（DR模式，一个VIP，多个端口）

一．概述 LVS作用:实现负载均衡 Keepalived作用:监控集群系统中各个服务节点的状态,HA cluster. 配置LVS有两种方式: 1. 通过ipvsadm命令行方式配置 2. 通过Redhat提供的工具piranha来配置LVS 软件下载: ipvsadm下载地址: http://www.linuxvirtualserver.org/software/kernel-2.6/ Keepalived下载地址: http://www.keepalived.org/software/ 安装

nginx实现请求的负载均衡 + keepalived实现nginx的高可用

前言 使用集群是网站解决高并发.海量数据问题的常用手段.当一台服务器的处理能力.存储空间不足时,不要企图去换更强大的服务器,对大型网站而言,不管多么强大的服务器,都满足不了网站持续增长的业务需求.这种情况下,更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力.通过负载均衡调度服务器,将来自浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果有更多的用户,就在集群中加入更多的应用服务器,使应用服务器的负载压力不再成为整个网站的瓶颈. 摘自<大型网站技术架构_核心原理与案例分析>

Nginx反向代理，负载均衡，redis session共享，keepalived高可用

相关知识自行搜索,直接上干货... 使用的资源: nginx主服务器一台,nginx备服务器一台,使用keepalived进行宕机切换. tomcat服务器两台,由nginx进行反向代理和负载均衡,此处可搭建服务器集群. redis服务器一台,用于session的分离共享. nginx主服务器:192.168.50.133 nginx备服务器:192.168.50.135 tomcat项目服务器1:192.168.50.137 tomcat项目服务器2:192.168.50.139 redis服

【Linux运维-集群技术进阶】Nginx+Keepalived+Tomcat搭建高可用/负载均衡/动静分离的Webserver集群

额.博客名字有点长.. . 前言 最终到这篇文章了,心情是有点激动的. 由于这篇文章会集中曾经博客讲到的全部Nginx功能点.包含主要的负载均衡,还有动静分离技术再加上这篇文章的重点.通过Keepalived实现的HA(High Available).为什么要实现高可用呢?曾经在搭建的时候仅仅用了一台Nginxserver,这种话假设Nginxserver宕机了,那么整个站点就会挂掉.所以要实现Nginx的高可用,一台挂掉还会有还有一台顶上去.从而保证站点能够持续的提供服务. 关于负载均衡和动静

Nginx反向代理、负载均衡, keepalived高可用

Nginx反向代理.负载均衡,  keepalived高可用 Nginx反向代理.负载均衡,  keepalived高可用 一.Nginx反向代理.负载均衡 1.什么是反向代理.负载均衡 严格的说,Nginx仅仅是作为Nginx Proxv反向代理使用的,因为这个反向代理功能表现的效果是负载均衡集群的效果,所以本文称之为Nginx负载均衡.那么,反向代理和负载均衡有什么区别呢? 普通负载均衡软件,例如大名鼎鼎的LVS,其实现的功能只是对请求数据包的转发(也可能会改写数据包).传递,其中DR模式明

nginx反向代理tomacat+keepalived实现动静分离、负载均衡、高可用

本文的动静分离主要是通过nginx+tomcat来实现,其中nginx处理图片.html.JS.CSS等静态文件,tomcat处理jsp.servlet等动态请求 服务器名称                                 系统版本                           预装软件                     IP地址 Nginx服务器                             CentOS 7 最小安装              Nginx

搭建LVS+Keepalived+nginx+tomcat高可用性，高性能jsp集群

LVS-master:192.168.0.210 LVS-backup:192.168.0.211 LVS-VIP:192.168.0.209 nginx+tomcat:192.168.0.212 nginx+tomcat:192.168.0.227 安装nginx所需包: Nginx-1.6.0.tar.gz和pcre-8.35.zip 一.安装pcre-8.35 1 #unzip pcre-8.35.zip 2 #cd pcre-8.35 3 #./configure 4 #make 5 #