Haproxy负载均衡+Keepalived高可用web群集

一、HAProxy

1.haproxy简介

  • HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。

  • HAProxy是一个使用C语言编写的自由及开放源代码软件
  • HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
  • HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。
  • HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制×××蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS×××的网站开发了而且已经拯救
  • HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。
  • 包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter和 Tuenti在内的知名网站，及亚马逊网络服务系统都使用了HAProxy。
  • Haproxy是目前比较流行的一种集群调度工具，同类集群调度工具有很多，如LVS和Nginx，相比较而言，LVS性能最好，但是搭建相对复杂，Nginx的upstream模块支持集群功能，但是对集群节点健康检查功能不强，性能没有Haproxy好。

缺点：只能支持TCP和HTTP的软件

Haproxy官网：http://www.haproxy.org/

2.负载均衡常用调度算法

LVS、Haproxy、Nginx最常用的调度算法有三种，如下所述

  • RR（Round Robin）。RR算法是最简单最常用的一种算法，即轮询调度。例如，有三个节点A、B、C，第一个用户访问会被指派到节点A，第二个用户访问会被指派到节点B，第三个用户访问会被指派到节点C，第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询，即根据每个节点的权重轮询分配访问请求
  • LC（Least Connections）。LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求。例如，有三个节点A、B、C，各节点的连接数分别为A：4、B：5、C：6，此时如果有第一个用户连接请求，会被指派到A上，连接数变为A：5、B：5、C：6 ；第二个用户请求会继续分配给A上，连接数变为A：6、B：5、C：6 ；再有新的请求会配置给B，每次将新的请求指派给连接数最小的节点服务器。由于实际情况下A、B、C的连接数会动态释放，很难出现一样连接数的情况，因此此算法相比较RR算法有很大改进，是目前用到比较多的一种算法
  • SH（Source Hashing）。SH即基于来源访问调度算法，此算法用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度。例如，使用基于源IP的集群调度算法，有三个节点A、B、C，第一个用户第一次访问被指派到A，第二个用户第一次访问被指派到了B，当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度。此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

3.Haproxy的日志

  • Haproxy的日志默认是输出到系统的syslog中，查看起来不是非常方便，为了更好地管理Haproxy的日志，我们在生产环境中一般单独定义出来，定义的方法如下所述
  • 修改Haproxy配置文件中关于日志配置的选项，修改为下面的配置 
    log  /dev/log    local0  info
log  /dev/log    local0  notice

    这两行配置是将原本的log 127.0.0.1配置项修改，主要是将Haproxy的info及notice日志分别记录到不同的日志文件中
    然后重启Haproxy，完成Haproxy配置

  • 修改rsyslog配置
    为了便于管理，将Haproxy下相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件 
    [[email protected] ~]# touch /etc/rsyslog.d/haproxy.conf
[[email protected] ~]# vim /etc/rsyslog.d/haproxy.conf

加入下面的内容：

if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘info‘) then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘notice‘) then -/var/log/haproxy/haproxy-notice.log
& ~

这部分配置是将Haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下，将notice日志记录到/var/log/haproxy/haproxy-notice.log下，其中“& ~”表示当日志写入到日志文件后，rsyslog停止处理这个信息。这里配置的语法是使用rainerscript脚本语言写的

  • 当然也可用用另一种解决方式，修改/etc/rsyslog.conf配置文件，在配置文件中加入如下两行：

    local0.info                                             /var/log/haproxy-info.log
local0.notice                                           /var/log/haproxy-notice.log

    这样也可以实现上面相同的效果

  • 测试日志信息
    在客户端访问http://192.168.1.10/test.html后，可以使用tail -f /var/log/haproxy/haproxy-info.log即时查看Haproxy的访问请求日志信息 
    [[email protected] ~]# tail -f /var/log/haproxy/haproxy-info.log
Sep  9 22:30:05 localhost haproxy[2634]: 192.168.1.30:1165 [09/Sep/2015:22:30:02.202] webcluster webcluster/inst2 0/0/0/1/3255 200 256 - - CD-- 0/0/0/0/0 0/0 "GET /test.html HTTP/1.1"

4.Haproxy的参数优化

关于Haproxy的参数优化，以下列举了几个关键的参数，并对各参数的生产环境的优化建议做了说明

参数 参数说明 优化建议
maxconn 最大连接数 此参数根据应用的实际情况进行调整，推荐使用10 240
daemon 守护进程模式 Haproxy可以使用非守护进程模式启动，生产环境建议使用守护模式启动
nbproc 负载均衡的并发进程数 建议与当前服务器CPU核数相等或为其2倍
retries 重试次数 此参数主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次；在服务器节点不多的情况下，可以设置为5次或6次
option http-server-close 主动关闭http请求选项 建议在生产环境中使用此选项，避免由于timeout时间设置过长导致http连接堆积
timeout http-keep-alive 长连接超时时间 此选项设置长连接超时时间，具体参考应用自身特点设置，可以设置为10s
timeout http-request http请求超时时间 建议此时间设置为5～10s，增加http连接释放速度
timeout client 客户端超时时间 如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

二、haproxy+keepalived部署

环境

五台服务器，两台Web、两台Haproxy，都将网卡设置为vmnet1；剩余一台为网关，需两块网卡，第一块vmnnet1、第二块桥接

HOST OS IP Package
web01 Centos6.7_64 192.168.1.30 httpd
web02 Centos6.7_64 192.168.1.40 httpd
Haproxy+Keepalived-1 Centos6.7_64 192.168.1.10 haproxy、keepalived
Haproxy+Keepalived-2 Centos6.7_64 192.168.1.20 haproxy、keepalived
Gateway Centos6.7_64 192.168.1.1 iptables

部署Web-1

1.配置IP地址

vim /etc/sysconfig/network-scrips/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.30
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
/etc/init.d/network restart

2.配置安装YUM

rm -rf /etc/yum.repos.d/*
vim /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt
gpgcheck=0

3.部署httpd

yum -y install httpd && echo "This is Web1" >/var/www/html/index.html
/etc/init.d/httpd start && chkconfig --level 35 httpd on

部署Web-2

1.配置IP地址

vim /etc/sysconfig/network-scrips/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.40
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
/etc/init.d/network restart

2.配置安装YUM

rm -rf /etc/yum.repos.d/*
vim /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt
gpgcheck=0
mount /dev/cdrom /mnt

3.部署httpd

yum -y install httpd && echo "This is Web2" >/var/www/html/index.html
/etc/init.d/httpd start && chkconfig --level 35 httpd on

部署Haproxy+Keepalived-1

1.配置IP

vim /etc/sysconfig/network-scrips/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.10
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
/etc/init.d/network restart

2.配置YUM并安装依赖包

rm -rf /etc/yum.repos.d/*
vim /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt
gpgcheck=0
mount /dev/cdrom /mnt
yum -y install kernel-devel openssl-devel popt-devel  pcre-devel bzip2-devel

3.安装keepalived

tar zxvf keepalived-1.2.2.tar.gz -C /usr/src/
cd /usr/src/keepalived-1.2.2/
./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86_64/
make && make install
chkconfig --add keepalived && chkconfig --level 35 keepalived on

4.编辑HA配置文件

vim /etc/keepalived/keepalived.conf
global_defs {
    router_id HA_TEST_R1    ##本服务器的名称
}
vrrp_instance VI_1 {        ##定义VRRP热备实例
    state MASTER        ##MASTER表示主服务器
    interface eth0      ##承载VIP地址的物理接口
    virtual_router_id 1     ##虚拟路由器的ID号
    priority 100        ##优先级，数值越大优先级越高
    advert_int 1        ##通告间隔秒数（心跳频率）
    authentication {        ##认证信息
        auth_type PASS      ##认证类型
        auth_pass 123456    ##密码字串
    }
    virtual_ipaddress {
  192.168.1.254     ##指定漂移地址（VIP）
    }
}

5.编译安装Haproxy

tar zxvf haproxy-1.4.24.tar.gz -C /usr/src/
cd /usr/src/haproxy-1.4.24/
make TARGET=linux26                         //linux26代表为kernel2.6的版本(uname -r)
make install

6.编辑Haproxy配置文件

mkdir /etc/haproxy    //新建软件配置文件目录
cp /usr/src/haproxy-1.4.24/examples/haproxy.cfg /etc/haproxy    //将haproxy.cfg文件复制到配置文件目录

Haproxy配置文件通常分为三个部分，即global、defaults和listen。global为全局配置、defaults为默认配置、listen为应用组件配置

vim /etc/haproxy/haproxy.cfg
#\ this config needs haproxy-1.1.28 or haproxy-1.2.1
global
    log 127.0.0.1   local0          //全局日志配置，并指定记录日志级别
    log 127.0.0.1   local1 notice    //notice为日志级别，通常有24个级别
    #log loghost    local0 info
    maxconn 4096                //最大连接数
    uid 99                  //运行用户，默认nobody
    gid 99                  //运行组，默认nobody
    daemon                  //以守护进程方式运行haproxy
    #debug
    #quiet

defaults
    log global              //应用全局日志配置
    mode    http                //默认的模式{tcp|http|health}
    option  httplog             //启用日志记录HTTP请求
    option  dontlognull         //启动该项，日志将不会记录空连接
    retries 3               //连接后端服务器的失败重连次数
    maxconn 2000                //每个进程可用的最大连接数
    contimeout  5000            //连接超时时间
    clitimeout      50000           //客户端超时时间
    srvtimeout  50000           //服务器超时时间

listen  webcluster 192.168.1.254:80
    option httpchk GET /index.html    //检查服务器的index.html文件
    balance roundrobin          //制定负载均衡算法
    server  inst1 192.168.1.30:80 check inter 2000 fall 3       //定义后端服务器的IP
    server  inst2 192.168.1.40:80 check inter 2000 fall 3

7.启动Haproxy服务

cp /usr/src/haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin
mkdir /usr/share/haproxy
/etc/init.d/keepalived start
/etc/init.d/haproxy start
chkconfig --level 35 haproxy on

部署Haproxy+Keepalived-2

1.配置IP

vim /etc/sysconfig/network-scrips/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.20
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
/etc/init.d/network restart

2.配置YUM并安装依赖包

rm -rf /etc/yum.repos.d/*
vim /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt
gpgcheck=0
mount /dev/cdrom /mnt
yum -y install kernel-devel openssl-devel popt-devel  pcre-devel bzip2-devel

3.安装keepalived

tar zxvf keepalived-1.2.2.tar.gz -C /usr/src/
cd /usr/src/keepalived-1.2.2/
./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86_64/
make &&make install
chkconfig --add keepalived && chkconfig --level 35 keepalived on

4.编辑HA配置文件

scp [email protected]:/etc/keepalived/keepalived.cfg /etc/keepalived/
vim /etc/keepalived/keepalived.conf
global_defs {
    router_id HA_TEST_R2    ##本服务器的名称
}
vrrp_instance VI_1 {        ##定义VRRP热备实例
    state BACKUP        ##MASTER表示主服务器
    priority 10         ##优先级，数值越大优先级越高

5.编译安装Haproxy

tar zxvf haproxy-1.4.24.tar.gz -C /usr/src/
cd /usr/src/haproxy-1.4.24/
make TARGET=linux26
make install

6.编辑Haproxy配置文件

mkdir /etc/haproxy/
scp [email protected]:/etc/haproxy/haproxy.conf /etc/haproxy/

7.编写shell脚本

cp /usr/src/haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin
mkdir /usr/share/haproxy && chkconfig --level 35 haproxy on
vim /root/haproxy.sh
#!/bin/bash
A=$(netstat -utpln | grep 80 | wc -l)
/sbin/ip a | /bin/grep 192.168.1.254 &>/dev/null
if [ $? -eq 0 ] && [ $A -eq 0 ]
then
  /etc/init.d/haproxy restart
  echo "Haproxy启动中"
else
  /etc/init.d/haproxy stop
fi
chmod +x /root/haproxy.sh
crontab -e
  */1 * * * *  /root/haproxy.sh
scp /root/haproxy.sh [email protected]:/root
chmod +x /root/haproxy.sh (第一个调度器，192.168.1.10)
crontab -e
  */1 * * * *  /root/haproxy.sh (第一个调度器，192.168.1.10)

Gateway

充当路由器角色

1.配置IP

vim /etc/sysconfig/network-scrips/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.1.1
NETMASK=255.255.255.0
cp /etc/sysconfig/network-scrips/ifcfg-eth0 /etc/sysconfig/network-scrips/ifcfg-eth1
vim /etc/sysconfig/network-scrips/ifcfg-eth1
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=dhcp
/etc/init.d/network restart

2.开启路由转发

vim /etc/sysctl.conf
 7 net.ipv4.ip_forward = 1
sysctl -p

3.编写防火墙规则

/etc/init.d/iptables stop
iptables -t nat -I PREROUTING -d 192.168.10.139 -p tcp --dport 80 -j DNAT --to-destination 192.168.1.254:80
/etc/init.d/iptables save && chkconfig --level 35 iptables on

4.访问测试

IE → 192.168.10.139

可以测试调度器的高可用和web群集的负载均衡

参考的网址：
http://blog.51cto.com/painting/1693259
http://www.ttlsa.com/linux/haproxy-study-tutorial/
https://baike.baidu.com/item/haproxy/5825820

原文地址：http://blog.51cto.com/13770206/2163084

时间： 2024-08-29 22:45:04

Haproxy负载均衡+Keepalived高可用web群集的相关文章

搭建haproxy负载均衡keepalived高可用集群

自己的服务器到期,转移自己博客内容至此. haproxy官网:www.haproxy.orgkeepalived官网:www.keepalived.org 本站下载:haproxy-1.8.3.tar.gz本站下载:keepalived-1.4.0.tar.gz本站下载:keepalived启动服务文件 环境:web01: 10.8.8.51   centos7web02: 10.8.8.52   centos7haproxy_master:10.8.8.53   centos7    vip:

Nginx反向代理、负载均衡, keepalived高可用

Nginx反向代理.负载均衡,  keepalived高可用 Nginx反向代理.负载均衡,  keepalived高可用 一.Nginx反向代理.负载均衡 1.什么是反向代理.负载均衡 严格的说,Nginx仅仅是作为Nginx Proxv反向代理使用的,因为这个反向代理功能表现的效果是负载均衡集群的效果,所以本文称之为Nginx负载均衡.那么,反向代理和负载均衡有什么区别呢? 普通负载均衡软件,例如大名鼎鼎的LVS,其实现的功能只是对请求数据包的转发(也可能会改写数据包).传递,其中DR模式明

nginx负载均衡+keepalived高可用完全配置小结

nginx做负载均衡(无高可用) 大致步骤. 1. 前端 nginx安装,pcre安装,具体步骤不解释. 2. 负载配置 A. 默认轮循 在nginx.conf  里加入一行 include upstream.conf,然后所有的负载均衡的配置直接在upstream.conf里配置. [[email protected] conf]# cat upstream.conf upstream httpservers { server 192.168.137.10:80 weight=5; serve

浅谈web应用的负载均衡、高可用、群集

1.熟悉几个组件 1.1.apache -- 它是Apache软件基金会的一个开放源代码的跨平台的网页服务器,属于老牌的web服务器了,支持基于Ip或者域名的虚拟主机,支持代理服务器,支持安全Socket层(SSL)等等,目前互联网主要使用它做静态资源服务器,也可以做代理服务器转发请求(如:图片链等),结合tomcat等servlet容器处理jsp. 1.2.ngnix -- 俄罗斯人开发的一个高性能的 HTTP和反向代理服务器.由于Nginx 超越 Apache 的高性能和稳定性,使得国内使用

Nginx+Keepalived实现Nginx负载均衡及高可用WEB服务器集群

环境:操作系统Centos 6.5 X86_64(final)Nginx-Master:192.168.2.32Nginx-Backup:192.168.3.31VIP:192.168.2.33Web3:192.168.2.29Web4:192.168.2.301.分别在Nginx-Master和Nginx-Backup上安装nginx[[email protected] ~]# rpm -i http://nginx.org/packages/centos/6/noarch/RPMS/ngin

Nginx负载均衡+keepalived高可用

注:环境介绍:VMware环境下4台虚拟机 两台做负载均衡服务器 两台做realserver (模拟物理web服务器)1 配置keepalived实现nginx负载均衡高可用,keepalived 主要功能是是实现主备负载 均衡服务器之间的高可用,当一台宕机另一台会自动接管.实现热备.2 在主备负载均衡服务器个配置nginx反向代理服务,并在本地(你的windows电 脑)/etc/hosts 做域名解析. [[email protected] ~]# cat /etc/keepalived/k

Nginx负载均衡+Keepalived高可用集群

一.搭建环境及软件版本 负载均衡:Nginx 高可用:Keepalived Linux:Centos 6.5 Nginx:nginx-1.6.2 Keepalived:keepalived-1.2.13 LB-00:Nginx+Keepalived 192.168.174.40 LB-01:Nginx+Keepalived 192.168.174.41 Web1:LNMP 192.168.174.20 Web2:LAMP 192.168.174.30 二.负载均衡搭建 ①解压编译安装Nginx

keepalived+Haproxy搭建高可用Web群集

Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多,如LVS和Nginx.相比较而言,LVS性能最好,但是搭建相对复杂,搭建LVS群集可以参考博文:搭建:LVS+Keepalived高可用Web服务群集环境:Nginx的upstream模块支持群集功能,但是相对群集节点健康检查功能不强,性能没有Haproxy好,更多的是应用在企业内网环境中.Nginx群集可以参考博文:centos 7部署Tomcat及其负载均衡配置详解. 上述几个web群集调度器属于软件类型的,还有很多硬件

用haproxy结合keepalived实现基于LNMP的负载均衡和高可用

今天我们讲haproxy结合keepalived实现LNMP的负载均衡和高可用,现在的公司大部分都基于haproxy实现负载均衡.下面以一个事例去给大家详细讲解如何去实现: 一.用haproxy结合keepalived实现基于lnmp的负载均衡和高可用服务,要求: (1)实现动静分离,图片和css,js都分离到专门的静态服务器上 (2)只允许172.17网段用户访问 (3)对于动态请求,要求实现基于cookie的会话保持 整体架构如下: 1.实验前需要关闭防火墙和selinux,以及同步时间.