用HAProxy和KeepAlived构建高可用的反向代理

用HAProxy和KeepAlived构建高可用的反向代理 前言对于访问量较大的网站来说，随着流量的增加单台服务器已经无法处理所有的请求，这时候需要多台服务器对大量的请求进行分流处理，即负载均衡。而如果实 现负载均衡，必须在网站的入口部署服务器（不只是一台）对这些请求进行分发，这台服务器即反向代理。由于反向代理服务器是网站的入口，其负载压力大且易遭 到攻击，存在单点故障的风险，所以我们需要一个高可用的方案来实现当一台反向代理服务器宕机的时候，另一台服务器会自动接管服务。基于以上要求，我们使用 HAProxy，KeepAlived来构建高可用的反向代理系统。 介绍HAProxy是高性能的代理服务器，其可以提供7层和4层代理，具有healthcheck，负载均衡等多种特性，性能卓越，国内很多大的互联网公 司都在使用， KeepAlived是一个高可用方案，通过VIP(即虚拟IP)和心跳检测来实现高可用。其原理是存在一组（两台）服务器，分别赋予 Master,Backup两个角色，默认情况下Master会绑定VIP到自己的网卡上，对外提供服务。Master,Backup会在一定的时间间隔 向对方发送心跳数据包来检测对方的状态，这个时间间隔一般为2秒钟，如果Backup发现Master宕机，那么Backup会发送ARP包到网关，把 VIP绑定到自己的网卡，此时Backup对外提供服务，实现自动化的故障转移，当Master恢复的时候会重新接管服务。

部署环境准备

环境OS: CentOS Linux release 6.0 (Final) 2.6.32-71.29.1.el6.x86_64

HAProxy: 1.5.10

KeepAlived: 1.2.2

VIP: 192.168.36.100

M: 192.168.36.154

S: 192.168.36.129

架构

                   192.168.36.100
             +-----------VIP----------+
             |                        |
             |                        |
           Master                   Backup
        192.168.36.129            192.168.36.154
        +----------+             +----------+
        | HAProxy  |             | HAProxy  |
        |keepalived|             |keepalived|
        +----------+             +----------+
             |
             v
    +--------+---------+
    |        |         |
    |        |         |
    v        v         v
+------+  +------+  +------+
| WEB1 |  | WEB2 |  | WEB3 |
+------+  +------+  +------+

安装HAProxy

安装pcre

 yum install pcre
 wget wget http://www.haproxy.org/download/1.5/src/haproxy-1.5.10.tar.gz
 tar -zxvf haproxy-1.5.10.tar.gz
 cd haproxy-1.5.10

注意编译参数：
TARGET是指自己系统的内核版本 ARCH指定系统是32位还是64位
CPU=native: use the build machine‘s specific processor optimizations
更多编译参数内容见源码中的README
 make TARGET=linux26 make TARGET=linux26 USE_OPENSSL=1 ADDLIB=-lz  #编译支持ssl认证功能，haproxy 1.5t版本以上才支持。
 make install
 ln -s /usr/local/src/haproxy-1.5.10 /usr/local/haproxy
 mkdir /usr/local/haproxy/etc

配置文件hparoxy

cd haproxy-1.5.10

cat etc/haproxy.cfg

global
    log 127.0.0.1   local3 info
    maxconn 20000
    user lashourun
    group lashourun
    chroot /var/chroot/haproxy
    daemon
    nbproc 4

defaults
   log     127.0.0.1       local3
   mode    http
   option  httplog
   option  httpclose
   option  dontlognull
   option  forwardfor
   option accept-invalid-http-request
   retries 2
   balance roundrobin
   stats enable
   stats   uri   /admin
   stats  auth haadmin:lashoupay
   timeout http-request 20s
   timeout connect 50000
   timeout client 500000
   timeout server 500000

frontend lashoupay-http #支持http 80端口访问的业务
    bind *:80
    reqadd X-Forwarded-Proto:\ http
    #acl lashoupay-4.90 dst 192.168.4.90
    acl lashoupay-4.90 path_beg /lashoupay/lashoupay || dst 192.168.4.90
    acl vs-lashoupay-index-4.94 dst 192.168.4.111
    #acl vs-lsmvas-4.51 dst 192.168.4.51
    #acl vs-lsmvas-4.93 dst 192.168.4.93
    acl vs-pay-4.90 dst  192.168.4.114
    acl vs-project-4.95 dst 192.168.4.115
    use_backend lashoupay-4.90-pool if lashoupay-4.90
    use_backend vs-lashoupay-index-4.94-pool if vs-lashoupay-index-4.94
    #use_backend vs-lsmvas-4.51-pool if vs-lsmvas-4.51
    #use_backend vs-lsmvas-4.93-pool if vs-lsmvas-4.93
    use_backend vs-pay-4.90-pool if vs-pay-4.90
    use_backend vs-project-4.95-pool if vs-project-4.95

frontend lashoupay-https #支持https 443 ssl认证访问的业务

    bind *:443 ssl crt /usr/local/haproxy/cert.pem
    option httpclose
    option forwardfor
    reqadd X-Forwarded-Proto:\ https
    default_backend lashoupay-4.90-pool
frontend vs-lsmvas4.51-9002  #支持一些特殊业务端口访问
    mode http
    bind *:9002
    reqadd X-Forwarded-Proto:\ http
    acl vs-lsmvas-4.51 dst 192.168.4.51
    acl vs-lsmvas-4.93 dst 192.168.4.93
    use_backend vs-lsmvas-4.51-pool if vs-lsmvas-4.51
    use_backend vs-lsmvas-4.93-pool if vs-lsmvas-4.93

backend lashoupay-4.90-pool
    redirect scheme https if !{ ssl_fc }
    balance roundrobin
        stats refresh 2
        server lashoupay-4.73 192.168.4.73:80 weight 3 maxconn 10000 check

backend vs-lashoupay-index-4.94-pool
    balance roundrobin
    stats refresh 2
    server lashoupay-index-16-26 192.168.4.16:9002 weight 3 maxconn 10000 check

backend vs-lsmvas-4.51-pool
    balance roundrobin
    stats refresh 2
    #server vs-lsmvas-4.16 192.168.4.16:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.18 192.168.4.18:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.26 192.168.4.26:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.28 192.168.4.28:9002 weight 3 maxconn 10000 check

backend vs-lsmvas-4.93-pool
    balance roundrobin
    stats refresh 2
    server vs-lsmvas-4.18 192.168.4.18:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.28 192.168.4.28:9002 weight 3 maxconn 10000 check

backend vs-pay-4.90-pool
    balance roundrobin
    stats refresh 2
    #server vs-lsmvas-4.16 192.168.4.16:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.18 192.168.4.18:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.26 192.168.4.26:9002 weight 3 maxconn 10000 check
    server vs-lsmvas-4.28 192.168.4.28:9002 weight 3 maxconn 10000 check

backend vs-project-4.95-pool
    balance roundrobin
    stats refresh 2
    server project-4.17 192.168.4.17:9002 weight 3 maxconn 10000 check
    server project-4.27 192.168.4.27:9002 weight 3 maxconn 10000 check

查看HAProxy的状态：http://192.168.36.100/haproxy-stats，这个页面会显示HAProxy本身以及后端服务器的状态。

日志haproxy会把日志记录发送到syslog server(CentOS6下是rsyslogd，UDP514端口)， 编辑/etc/rsyslog.conf文件，添加如下内容：

ModLoad imudp
UDPServerRun 514
UDPServerAddress 127.0.0.1
local3.*                /var/log/haproxy.log

重启rsyslog

 /etc/init.d/rsyslog restart

自动轮转日志，编辑/etc/logrotate.d/haproxy.cfg，添加如下内容：

/var/log/haproxy.log
{
    rotate 4
    daily
    missingok
    notifempty
    compress
    delaycompress
    sharedscripts
    postrotate
    reload rsyslog > /dev/null 2>&1 || true
    endscript
}

启动脚本

 wget -O haproxy https://raw.github.com/gist/3665034/4125bd5b81977a72e5eec30650fb21f3034782a0/haproxy-init.d
 cp haproxy /etc/init.d/haproxy
 chmod +x /etc/init.d/haproxy
#使用方式
 /etc/init.d/haproxy start|stop|restart

安装KeepAlived

安装依赖库

 yum install popt popt-devel
 wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
 tar -zxvf keepalived-1.2.2.tar.gz
 cd keepalived-1.2.2
 ./configure --prefix=/usr/local/keepalived
 make && make install

 cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
 cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
 cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
 mkdir -p /etc/keepalived/
 cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
 chmod +x /etc/init.d/keepalived

使用方式

 /etc/init.d/keepalived start|stop|restart

Master服务器上的配置

cat etc/keepalived/keepalived.conf
global_defs {

   notification_email {
       [email protected]
   }

   notification_email_from [email protected]
   smtp_server 192.168.x.x
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
    script "/usr/local/keepalived/chk_haproxy.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER #标示状态为MASTER
    interface eth0
    virtual_router_id 51
    priority 101   #MASTER权重要高于BACKUP
    advert_int 1
    mcast_src_ip 192.168.36.129 #Master服务器IP

    authentication {
        auth_type PASS #主从服务器验证方式
        auth_pass 1111
    }

    track_script {
        chk_haproxy #监测haproxy进程状态
    }

    #VIP
    virtual_ipaddress {
        192.168.36.100 #虚拟IP
    }
}

Bakcup服务器上的配置

cat etc/keepalived/keepalived.conf
global_defs {
   notification_email {
   [email protected]
   }

   notification_email_from [email protected]
   smtp_server 192.168.x.x
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
    script "/usr/local/keepalived/chk_haproxy.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP #状态为BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #权重要低于MASTER
    advert_int 1
    mcast_src_ip 192.168.36.154 #Backup服务器的IP

    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        chk_haproxy #监测haproxy进程状态
    }

    #VIP
    virtual_ipaddress {
        192.168.36.100 #虚拟IP
    }
}
  • keepalived 配置中引用的脚本 chk_haproxy.sh内容
#!/bin/bash
#
# author: weizhifeng
# description:
# 定时查看haproxy是否存在，如果不存在则启动haproxy，
# 如果启动失败，则停止keepalived
#
status=(ps aux|grep haproxy | grep -v grep | grep -v bash | wc -l)
if [ "{status}" = "0" ]; then
    /etc/init.d/haproxy start

    status2=(ps aux|grep haproxy | grep -v grep | grep -v bash |wc -l)

    if [ "{status2}" = "0"  ]; then
            /etc/init.d/keepalived stop
    fi
fi

高可用测试

  • 1. 在Master上停止keepalived，查看系统日志，发IP
  /etc/init.d/keepalived stop
  tail -f /var/log/message
 Keepalived: Terminating on signal Keepalived: Stopping Keepalived v1.2.2 (11/03,2011)
 Keepalived_vrrp: Terminating VRRP child process on signal
 Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.
  • 2. 在Backup上查看系统日志，发现Backup已经进入MASTER角色，并且绑定了VIP 192.168.36.100
  tail -f /var/log/message
 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs
 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.36.100 #在Backup上查看VIP是否已经绑定
  • 3. 在Master上重新启动keepalived，查看系统日志，发现重新获得MASTER角色，并且绑定VIP 192.168.36.100
  /etc/init.d/keepalived start
  tail -f /var/log/message
 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.36.100
  • 4. 在Backup上查看系统日志，发现其重新回到BACKUP角色，并且释放VIP
  tail -f /var/log/message
 Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
 Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE
 Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.
  • 并发测试我们使用webbench来对HAProxy进行并发测试
 yum install ctags
 wget http://home.tiscali.cz/~cz210552/distfiles/webbench-1.5.tar.gz
 tar -zxvf webbench-1.5.tar.gz
 cd webbench-1.5
 make
 mkdir -p /usr/local/man && make install

测试方法：

 webbench -c 100 -t 3000 http://192.168.36.100/index.html

haproxy维护

  • 1,haproxy做前端代理，出错类 -1/-1/-1/-1/0 400 187 - - PR-- 0/0/0/0/0 0/0 "

    google了一下全是英文的，大概意思说原因是因为客户端发来了无效的字符，处理不了罢，说白了，就是可能不支持客户发来的字符集，

    我们查了一下发来的字符串中文的，好像是gb2312的，google有牛人给出的解决办法如下：

    打开haproxy.cfg配置加上如下

    timeout http-request 20s

    option accept-invalid-http-request

时间： 2024-11-09 00:04:46

用HAProxy和KeepAlived构建高可用的反向代理的相关文章

Keepalived实现高可用Nginx反向代理和基于NAT的LVS及分析

1. 前言 keepalived是一个C语言开发的,能够基于Linux基础架构提供一个HA实现的软件.HA是基于VRRP协议实现,可以为LVS.Nginx.HAProxy等实现的LB提供高可用. 下图是keepalived的软件架构图 主要核心模块: Checkers:负责对Real Server进行健康检查. VRRP栈:实现了VRRP协议,实现了vrrp_sync_group扩展,不依赖于LVS可以独立的使用.例如下面第一个实验keepalived+nginx反代. IPVS Wrapper

keepalived实现高可用nginx反向代理的简单案例

写在前面:如果此文有幸被某位朋友看见并发现有错的地方,希望批评指正.如有不明白的地方,愿可一起探讨. 案例拓扑图 安装keepalived和nginx 安装keepalived # yum -y install keepalived 创建nginx用户组及nginx用户 # groupadd -r nginx # useradd -g nginx -r nginx 编译安装nginx-1.4.7 # tar xf nginx-1.4.7.tar.gz  # cd nginx-1.4.7 # ./

Keepalived实现高可用Nginx反向代理

由于好久没有接触过负载相关的调试了复习一下 实验系统: (1)CentOS 6.5_x86_64: (2)共有二台主机,本实验以ip地址来命名主机,即10主机.11主机. 实验前提:防火墙和selinux都关闭,主机之间时间同步 实验软件:nginx-1.10.2-1.el6.x86_64.keepalived-1.2.13-5.el6_6.x86_64.httpd-2.2.15-59.el6.centos.x86_64为了方便实验只起了2台虚机方便测试,每台虚机上都安装nginx.keepal

基于Keepalived构建高可用集群配置实例（HA Cluster）

什么是集群 简单的讲集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源.这些单个的计算机系统就是集群的节点(node).一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统.并且集群系统的管理员可以随意增加和删改集群系统的节点. 关于更详细的高可用集群我们在后面再做详解,先来说说Keepalived Keepalived是什么 Keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbea

架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层

1.概述 前两遍文章中,我们一直在说后文要介绍Nginx + Keepalived的搭建方式.这篇文章开始,我们就来兑现前文的承诺,后续的两篇文章我们将介绍Nginx + Keepalived和 LVS + Keepalived搭建高可用的负载层系统.如果你还不了解Nginx和LVS的相关知识,请参见我之前的两篇文章<架构设计:负载均衡层设计方案(2)--Nginx安装>(http://blog.csdn.net/yinwenjie/article/details/46620711).<

CentOS7+MySQL/MariaDB+Galera+HAProxy+Keepalived构建高可用数据库集群

方案优势: Galera能够实现MySQL/MariaDB数据库的主主复制和多主复制等模式,这些复制模式都是同步进行的,同步时间非常短 每一个节点都可以同时写入和读取,当某一节点发生故障时,可自动从集群中自动剔除 HAProxy能提供负载均衡和故障判断等功能解决服务器系统存在的单点故障 Keepalived能提供客户端连接数据库时使用的虚拟IP地址(VIP) 关于HAProxy的负载均衡算法 轮询方式(roundrobin):不适合用于backend为web服务器的情况,因为session.co

haproxy + rabbitmq + keepalived的高可用环境搭建

一.rabbitmq的搭建:参考rabbimq的安装及集群设置 二.安装和配置haproxy 1.安装haproxyyum install haproxy 2.安装rsysloga. 检查rsyslog是否已安装rpm -q rsyslog b. 添加haproxy的log配置cd /etc/rsyslog.dvim haproxy.conf === 文件内容$ModLoad imudp$UDPServerRun 514local2.* /var/log/haproxy.loglocal3.*

利用keepalived构建高可用MySQL High Application

关于MySQL-HA,目前有多种解决方案,比如heartbeat.drbd.mmm.共享存储,但是它们各有优缺点.heartbeat. drbd配置较为复杂,需要自己写脚本才能实现MySQL自动切换:对于mmm,生产环境中很少有人 用,且mmm 管理端需要单独运行一台服务器上,要是想实现高可用,就得对mmm管理端做HA,这样无疑又增加了硬件开支:对于共享存储,个人觉得MySQL数据还是放 在本地较为安全,存储设备毕竟存在单点隐患. 使用MySQL双master+keepalived是一种非常好的

MySql:利用keepalived构建高可用MySQL-HA

关于MySQL-HA,目前有多种解决方案,比如heartbeat.drbd.mmm.共享存储,但是它们各有优缺点.heartbeat.drbd配置较为复杂,需要自己写脚本才能实现MySQL自动切换,对于不会脚本语言的人来说,这无疑是一种脑裂问题:对于mmm,生产环境中很少有人用,且mmm 管理端需要单独运行一台服务器上,要是想实现高可用,就得对mmm管理端做HA,这样无疑又增加了硬件开支:对于共享存储,个人觉得MySQL数据还是放在本地较为安全,存储设备毕竟存在单点隐患.使用MySQL双mast