Rabbitmq +Haproxy +keepalived 实现高可用集群

搭建rabbitmq的高可用集群,分三步走:

1)搭建rabbitmq集群:

多机集群搭建

1.安装单机版的 教程:《Linux下安装rabbitmq》

(安装rpm包或者源码包,这里简单介绍下安装rpm包)

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.1/rabbitmq-server-3.5.1-1.noarch.rpm
rpm -i --nodeps rabbitmq-server-3.5.1-1.noarch.rpm

3、安装RabbitMQ
rpm -ivh rabbitmq-server-3.5.1-1.noarch.rpm
或
$$$    rpm -ivh --nodeps --force rabbitmq-server-3.5.1-1.noarch.rpm

启动RabbitMQ:
/etc/init.d/rabbitmq-server start
或
service rabbitmq-service start

打开web管理插件
rabbitmq-plugins enable rabbitmq_management
管理界面地址:http://127.0.0.1:15672/

MQ新建用户
rabbitmqctl add_user admin  admin

授权
rabbitmqctl set_user_tags admin administrator
rabbitmqctl set_permissions -p "/" admin".*" ".*" ".*"

注意:不同于单机多节点的情况,在多机环境,如果要在cluster集群内部署多个节点,需要注意两个方面:
1)保证需要部署的这几个节点在同一个局域网内
2)需要有相同的Erlang Cookie,否则不能进行通信,为保证cookie的完全一致,采用从一个节点copy的方式,下面就会使用这种方式

2.要搭建集群,先将之前单机版中历史记录干掉,删除rabbitmq/var/lib/rabbitmq/mnesia下的所有内容。

3.分别在192.168.1.103   192.168.1.104  192.168.1.105节点上安装rabbitmq server。

4.在浏览器访问每一个rabbitmq实例,是够可以显示登录页面,如果显示成功,继续往下进行。

5.设置不同节点间同一认证的Erlang Cookie 
将192.168.1.103上的rabbitmq/var/lib/rabbitmq/.erlang.cookie中的内容复制到192.168.1.104和192.168.1.105上的rabbitmq/var/lib/rabbitmq/.erlang.cookie文件中, 即三台服务器必须具有相同的cookie,如果不相同的话,无法搭建集群
注意:
官方在介绍集群的文档中提到过.erlang.cookie一般会存在这两个地址:第一个是$home/.erlang.cookie也就是/root 目录下,第二个地方就是/var/lib/rabbitmq/.erlang.cookie。
如果我们使用解压缩方式安装部署的rabbitmq,那么这个文件会在${home}目录下,也就是$home/.erlang.cookie。
如果我们使用rpm等安装包方式进行安装的,那么这个文件会在/var/lib/rabbitmq目录下。

6.分别在三个节点的/etc/hosts下设置相同的配置信息,然后重启机器
192.168.1.103 rabbit1
192.168.1.104 rabbit2
192.168.1.105 rabbit3
重启之后[[email protected] ~]# 改为[[email protected] ~]# hostname就会生效

7.使用 -detached运行各节点
rabbitmq-server -detached

8.创建集群
        1)rabbit1为主节点,另外两个为从节点搭建,主节点不用动,只在两个从节点运行如下命令,我这里只举一个节点(rabbit2)的例子,rabbit3执行相同的命令
         [[email protected] rabbitmq]# rabbitmqctl stop_app
         Stopping rabbit application on node [email protected] ...
         [[email protected] rabbitmq]# rabbitmqctl reset
         Resetting node [email protected] ...
         [[email protected] rabbitmq]# rabbitmqctl join_cluster [email protected]
         Clustering node [email protected] with [email protected] ...
         [[email protected] rabbitmq]# rabbitmqctl start_app
         Starting node [email protected] ...

2)使用rabbitmqctl cluster_status查看集群状态
         [[email protected] rabbitmq]# rabbitmqctl cluster_status
         Cluster status of node [email protected] ...
         [{nodes,[{disc,[[email protected],[email protected]]}]},
         {running_nodes,[[email protected],[email protected]]},
         {cluster_name,<<"[email protected]">>},
         {partitions,[]},
         {alarms,[{[email protected],[]},{[email protected],[]}]}]

9.我这里创建完成之后,之前的admin用户无法使用了,重新添加用户,参考之前搭建单机版的命令

10.使用刚才的账号密码登录,出现界面,表示成功。

二)安装haproxy

.Haproxy负载代理
          1)在192.168.1.101和192.168.1.102节点上安装haproxy
yum install haproxy
          2)修改/etc/haproxy/haproxy.cfg为以下内容,全覆盖,修改对应的端口号

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy # 改变当前工作目录
pidfile /var/run/haproxy.pid # haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
maxconn 4000 # 最大连接数,默认4000
user haproxy # 默认用户
group haproxy # 默认组
daemon # 创建1个进程进入deamon模式运行。此参数要求将运行模式设置为daemon
stats socket /var/lib/haproxy/stats # 创建监控所用的套接字目录
#---------------------------------------------------------------------
# defaults settings
#---------------------------------------------------------------------
# 注意:因为要使用tcp的负载,屏蔽掉与http相关的默认配置
defaults
mode http # 默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
log global
# option httplog # 采用http日志格式
option dontlognull # 启用该项,日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器
# option http-server-close # 每次请求完毕后主动关闭http通道
# option forwardfor except 127.0.0.0/8 # 如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
option redispatch # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
retries 3 # 3次连接失败就认为服务不可用,也可以通过后面设置
# timeout http-request 10s
timeout queue 1m
timeout connect 10s # 连接超时时间
timeout client 1m # 客户端连接超时时间
timeout server 1m # 服务器端连接超时时间
# timeout http-keep-alive 10s
timeout check 10s
maxconn 3000 # 最大连接数
###################### 打开haproxy的监测界面###############################
listen status
bind 0.0.0.0:9188
mode http
stats enable
stats refresh 30s
stats uri /stats #设置haproxy监控地址为http://localhost:9188/stats
stats auth admin:123456 #添加用户名密码认证
stats realm (Haproxy\ statistic)
stats admin if TRUE
######################监听rabbitmq的web操作页面############################
listen rabbitmq_admin
bind 0.0.0.0:15670
server rabbit1 192.168.1.102:15672
server rabbit2 192.168.1.101:15672
server rabbit3 192.168.1.101:15673
#######################监听rabbimq_cluster #################################
listen rabbitmq_cluster
bind 0.0.0.0:5670
mode tcp
balance roundrobin #负载均衡算法(#banlance roundrobin 轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数)
server rabbit1 192.168.1.102:5672 check inter 5000 rise 2 fall 2 #check inter 2000 是检测心跳频率
server rabbit2 192.168.1.101:5672 check inter 5000 rise 2 fall 2 #rise 2是2次正确认为服务器可用
server rabbit3 192.168.1.101:5673 check inter 5000 rise 2 fall 2 #fall 2是2次失败认为服务器不可用

3)启动haproxy
haproxy -f /etc/haproxy/haproxy.cfg
service haproxy restart#重启
service haproxy stop#停止
4)两个ip分别访问以下地址,出现以下页面证明没错

浏览器访问:192.168.0.101:15670  和 192.168.0.101:9188/stats

三)安装配置keepalived

1)安装keepalived
yum install keepalived
chkconfig --add keepalived#设置开机启动,可以不用设置

2)修改/etc/keepalived/keepalived.conf配置文件,主机和备机稍有不同,已经在配置文件中声明,请详细阅读!

#Keepalived配置文件

global_defs {
router_id NodeA #路由ID, 主备的ID不能相同
}

#自定义监控脚本
vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2
}

vrrp_instance VI_1 {
state MASTER #Keepalived的角色。Master表示主服务器,从服务器设置为BACKUP
interface eth0 #指定监测网卡
virtual_router_id 1
priority 100 #优先级,BACKUP机器上的优先级要小于这个值
advert_int 1 #设置主备之间的检查时间,单位为s
authentication { #定义验证类型和密码
auth_type PASS
auth_pass root123
}
track_script {
chk_haproxy
}
virtual_ipaddress { #VIP地址,可以设置多个:
192.168.0.10
}
}

Backup中的配置大致和Master中的相同,不过需要修改global_defs{}的router_id,比如置为NodeB;其次要修改vrrp_instance VI_1{}中的state为BACKUP;最后要将priority设置为小于100的值。注意Master和Backup中的virtual_router_id要保持一致。下面简要的展示下Backup的配置:

global_defs {
router_id NodeB
}
vrrp_script chk_haproxy {
...
}
vrrp_instance VI_1 {
state BACKUP
...
priority 50
...
}

为了防止HAProxy服务挂了,但是Keepalived却还在正常工作而没有切换到Backup上,所以这里需要编写一个脚本来检测HAProxy服务的状态。当HAProxy服务挂掉之后该脚本会自动重启HAProxy的服务,如果不成功则关闭Keepalived服务,如此便可以切换到Backup继续工作。这个脚本就对应了上面配置中vrrp_script chk_haproxy{}的script对应的值,/etc/keepalived/check_haproxy.sh的内容如代码清单所示。

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ];then
haproxy -f /etc/haproxy/haproxy.cfg
fi
sleep 2
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ];then
service keepalived stop
fi

3)启动服务
因为是为了实现haproxy的高可用,启动时需要顺序启动:
(1) 启动两个节点的haproxy:
haproxy -f /etc/haproxy/haproxy.cfg
(2) 启动keeepalived:先启动master节点,后启动BACKUP节点
keepalived start

如此配置好之后,使用service keepalived start命令启动192.168.0.8和192.168.0.9中的Keepalived服务即可。之后客户端的应用可以通过192.168.0.10这个IP地址来接通RabbitMQ服务。

Master启动之后可以通过ip add show命令查看添加的VIP(加粗部分,Backup节点是没有VIP的):

参考文章: https://blog.csdn.net/qq_34021712/article/details/72634167

    https://blog.csdn.net/u013256816/article/details/77171017

原文地址:https://www.cnblogs.com/unqiang/p/12217120.html

时间: 2024-11-07 21:32:06

Rabbitmq +Haproxy +keepalived 实现高可用集群的相关文章

haproxy+keepalived实现高可用集群

haproxy+keepalived实现高可用性集群 一.HAProxy简介 HAProxy提供高可用性.负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种解决方案.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理.HAProxy运行在时下的硬件上,完全可以支持数以万计的并发连接.并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上. HAProxy实现了一种事件驱动.

18.1 集群介绍;18.2 keepalived介绍;18.3,18.4,18.5 用keepalived配置高可用集群(上,中,下);

18.1 集群介绍 1. 根据功能划分为两大类:高可用和负载均衡 2. 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 3. 实现高可用的开源软件有:heartbeat.keepalived 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量至少为2 4. 实现负载均衡的开源软件有LVS.keepalived.haproxy.nginx,

18.1集群介绍 18.2 keepalived介绍18.3/18.4/18.5 用keepalived配置高可用集群

- 18.1 集群介绍 - 18.2 keepalived介绍 - 18.3/18.4/18.5 用keepalived配置高可用集群 - 扩展 - heartbeat和keepalived比较 http://blog.csdn.net/yunhua_lee/article/details/9788433  - DRBD工作原理和配置 http://502245466.blog.51cto.com/7559397/1298945 - mysql+keepalived http://lizhenl

集群介绍、keepalived介绍、用keepalived配置高可用集群

集群介绍 Linux集群根据功能划分为两大类:高可用和负载均衡. 1.高可用集群通常为2台服务器,一台工作,另一台作为冗余,当提供服务的机器宕机时,冗余将接替继续提供服务. 实现高可用的开源软件有:heartbeat.Keepalived,其中heartbeat很多bug已无人维护(不推荐使用),所以今后使用Keepalived来搭建高可用集群. 2.负载均衡集群,需要有1台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外就是给用户提供服务的服务器了,这些服

Linux集群(keepalived介绍,Keepalived配置高可用集群,Keepa+mysql

一.Linux集群概述 根据功能划分为两大类:高可用和负载均衡 (1)高可用集群通常为两台服务器,台工作,另外一台作为准备,当提供服务的机器宕机,另外一台将接替继续提供服务. 实现高可用的开源软件有:heartbeat,keepalived (2)负载均衡集群:需要有一台服务器作为分发器,它负责吧用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量最少为2 实现负载均衡的开源软件有LVS,keepalived,haproxy,nginx,商业

18.1-18.5 集群介绍,用keepalived配置高可用集群

18.1 集群介绍 根据功能划分为两大类:高可用和负载均衡 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务大概意思是:高可用一般使用两台机器,功能,角色是一样的.当一台服务器宕机不能服务了,利用另外的服务器顶替. 实现高可用的开源软件有:heartbeat(不建议使用,切换通信速度慢,2010年停止更新,).keepalived(建议使用,有高可用和负载均衡的功能) 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务

集群介绍,keepalived介绍,keepalived配置高可用集群

Linux集群概述 根据功能划分为两大类:高可用和负载均衡 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 实现高可用的开源软件有:heartbeat.keepalived (推荐) 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量至少为2 实现负载均衡的开源软件有LVS.keepalived.haproxy.nginx,商业的有F5.

集群介绍,keepalived介绍,用keepalived配置高可用集群

集群介绍 根据功能划分为两大类:高可用和负载均衡 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 业内有个综合评分比如4个九,甚至5个九六个九来衡量服务的高可用,一般大企业的核心业务都有高可用,如果一个机器故障,一分钟之内就可以切换到另一台上 实现高可用的开源软件有:heartbeat.keepalived 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务

keepalived实现高可用集群方案

一.keepalived和VRRP协议介绍 keepalived是基于vrrp协议实现的一个高可用集群解决方案,可以利用keepalived来解决单点故障问题,使用keepalived实现的高可用集群方案中,一般有两台服务器,一个是MASTER(主服务器),另一个是BACKUP(备用服务器),这个集群中对外提供一个虚拟IP,MASTER服务器会定时发送特定信息给BACKUP服务器,当BACKUP服务器接收不到MASTER发送的消息时,BACKUP服务器会接管虚拟IP,继续提供服务. VRRP协议