ActiveMQ学习第五篇：ActiveMq伪集群学习

启动多实例

# 1、将conf文件夹复制一份
cp -r conf/ conf-1/

#主要是修改conf-1目录activemq.xml
# 2、修改Broker名称
<broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost-1" dataDirectory="${activemq.data}">

#3、数据存储如果使用的是kahaDB，需要更改存储位置，不能出现重复:
      <persistenceAdapter>
            <kahaDB directory="${activemq.data}/kahadb_1"/>
        </persistenceAdapter>
#4、所有涉及的transportConnectors的端口，都要跟conf里面的的不一样
        <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61626?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="amqp" uri="amqp://0.0.0.0:5622?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="stomp" uri="stomp://0.0.0.0:61623?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="mqtt" uri="mqtt://0.0.0.0:1823?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="ws" uri="ws://0.0.0.0:61624?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
        </transportConnectors>

#5、修改jetty.xml,端口:
    <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
             <!-- the default port number for the web console -->
        <property name="host" value="0.0.0.0"/>
        <property name="port" value="8162"/>
    </bean>
#6、到bin下面，复制一个activemq, 叫activemq-1:
cp -r activemq activemq-1

#7、#activemq-1.xml,ACTIVEMQ_PIDFILE、ACTIVEMQ_CONF需要修改
  ACTIVEMQ_PIDFILE="$ACTIVEMQ_DATA/activemq-1.pid"（162行）
ACTIVEMQ_CONF="$ACTIVEMQ_BASE/conf-1" （125行）

networkConnector：

??在某些场景下，需要多个ActiveMQ的Broker做集群，那么就涉及到Broker到Broker的通信，这个被称为ActiveMQ的networkConnector。
??ActiveMQ的ne tworkConnector默认是单向的，一 个Broker在一 端发送消息， 另一个Broker在另一端接收消息。这就是所谓的“桥接”。ActiveMQ也支持双向链接，创建一个双向的通道对于两个Broker,不仅发送消息而且也能从相同的通道来接收消息，通常作为duplex connector来映射，如下:

Static networks：
??Static networkConnector是用于创建一一个静态的配置对于网络中的多个Broker。这种协议用于复合url，一个复合url包括多个url地址。格式如下:static: (uri1, uri2, uri3,..) ?key=value

// 在broker标签里面配置
<networkConnectors>
    <networkConnector name="local network"
    uri="static://(tcp://192.168.100.155:61616,tcp://192.168.100.155:61626)"/>
</networkConnectors>

这样配置之后可以看到，当61616发送消息时，61626也是可以接收到的。这个就是单向链接.
当brokerA(61616)和brokerB(61626)使用单向链接时.一般情况下brokerB会比A优先接受消息。

networkConnector可用配置：
??1：name：默认是bridge
??2: dynamicOnly: 默认是false,如果为true, 持久订阅被激活时才创建对应的网路持久订阅。默认是启动时激活
??3：decreaseNetworkConsumerPriority：默认是false。设定消费者优先权，如果为true，网络的消费者优先级降低为-5。 如果为false，则默认跟本地消费者一样为0
??4：networkTTL ：默认是1 ，网络中用于消息和订阅消费的broker数量
??5：messageTTL ：默认是1 ，网络中用于消息的broker数量
??6：consumerTTL：默认是1 ，网络中用于消费的broker数量
??7：conduitSubscriptions ：默认true，是否把同一个broker的多个consumer当做一个来处理
??8：dynamicallyIncludedDestinations ：默认为空，要包括的动态消息地址，类似于excludedDestinations，如：

 <dynamicallyIncludedDestinations>
     <!-- 需要过滤的消息名称 -->
      <queue physicalName="include.test.foo"/>
      <topic physicalName="include.test.bar"/>
    </dynamicallyIncludedDestinations>

??9：staticallyIncludedDestinations ：默认为空，要包括的静态消息地址。类似于excludedDestinations，如：

 <staticallyIncludedDestinations>
      <queue physicalName="always.include.queue"/>
    </staticallyIncludedDestinations>

当我们不希望brokerA的所有消息都发送到brokerB上，可以选择配置此项
??10：excludedDestinations ：默认为空，指定排除的地址，示例如下：

<networkConnectors>
        <networkConnector uri="static://(tcp://localhost:61616)" name="bridge" dynamicOnly="false" conduitSubscriptions="true" decreaseNetworkConsumerPriority="false">
            <excludedDestinations>
                <!-- 排除 -->
                <queue physicalName="exclude.test.foo"/>
                <topic physicalName="exclude.test.bar"/>
            </excludedDestinations>
            <dynamicallyIncludedDestinations>
                 <!-- 包含 -->
                <queue physicalName="include.test.foo"/>
                <topic physicalName="include.test.bar"/>
            </dynamicallyIncludedDestinations>
            <staticallyIncludedDestinations>
                 <!-- 包含 -->
                <queue physicalName="always.include.queue"/>
                <topic physicalName="always.include.topic"/>
            </staticallyIncludedDestinations>
        </networkConnector>
    </networkConnectors>

??11：duplex ：默认false，设置是否能双向通信
??12：prefetchSize ：默认是1000，持有的未确认的最大消息数量，必须大于0，因为网络消费者不能自己轮询消息
??13：suppressDuplicateQueueSubscriptions：默认false，如果为true, 重复的订阅关系一产生即被阻止
??14：bridgeTempDestinations ：默认true，是否广播advisory messages来创建临时destination
??15：alwaysSyncSend（同步） ：默认false，如果为true，非持久化消息也将使用request/reply方式代替oneway方式发送到远程broker。
??16：staticBridge ：默认false，如果为true，只有staticallyIncludedDestinations中配置的destination可以被处理。
??17：dynamicOnly：默认是false，如果为true, 持久订阅被激活时才创建对应的网路持久订阅。默认是启动时激活

消息的回流功能：
??有这样的场景，brokerA 和brokerB通过networkGonnector连接，一些consumers 连接到brokerB ,消费brokerA_上的消息。消息先被brokerB从brokerA_上消费掉，然后转发给这些consumers.不幸的是转发部分消息的时候brokerB重启了，这些consumers发现brokerB连接失败，通过failover连接到brokerA上去了，但是有一部分他们还没有消费的消息被brokerA已经分发到了brokerB上去了。这些消息，就好像是消失了，除非有消费者重新连接到brokerB上来消费。即使配置成双向链接，还是会有一部分数据接收不到，只有从新连接brokerB才可以。双向连接会在开始的时候分配两边接收的消息数量。
??从5.6版起，在destinationPolicy上新增的选项replayWhenNoConsumers。这个选项使得brokerB上有需要转发的消息但是没有消费者时，把消息回流到它原始的brokerA. 同时把enableAudit设置为false,为了防止消息回流后被当做重复消息而不被分发。需要设置成双向连接且在两个broker的activemq.xml里面配置如下信息：

<destinationPolicy>
      <policyMap>
        <policyEntries>
           <policyEntrytopic=">" enableAudit="false">
             <networkBridgeFilterFactory>
                 <conditionalNetworkBridgeFilterFactoryreplayWhenNoConsumers="true" />
             </networkBridgeFilterFactory>
           </policyEntry>
        </policyEntries>
      </policyMap>
</destinationPolicy>

连接的容错：

Fai lover Protocol：
? 前面讲述的都是Client配置链接到指定的broker上。但是，如果Broker的链接失败怎么办呢?此时，Client有两个选项:要么立刻死掉，要么去连接到其它的broker上。
? Failover协议实现了自动重新链接的逻辑。这里有两种方式提供了稳定的brokers列表对于Client链接。第一种方式:提供一个static的可用的Brokers列表。第二种方式:提供一个dynamic发现的可用Brokers。
Failover Protocol的默认配置：
? 　　默认的情况下，这种协议用于随机的去选择一个链接去连接，如果连接失败了，那么会连接到其他的Broker上。默认配置定义了延迟重新连接，意味着传输将会在10s后自动去重新连接可用的broker.当然所以有的重新连接参数都可以根据应用的需要而配置的。
Failover Protocol 使用示例：

ConnectionFactory activeMQConnectionFactory = new ActiveMQConnectionFactory("failover:(tcp://192.168.100.155:61616,tcp://192.168.100.155:61626)?randomize=fase");

当发送消息的时候，第一次有可能会发送给brokerA，当把brokerA kill掉之后。再次发送消息的时候，就会发送给brokerB。这其实是一种容错机制。当randomize=true这样设置消息就会出现一种负载均衡。随机发送给不同的broker。可以保证既能容错也能有负载均衡。
Failover Protocol 可用的配置参数：

  1. initialReconnectDelay: 在第一次尝试重新连接之前等待的时间长度（毫秒），默认10
  2. maxReconnectDelay: 最长重连时间间隔（毫秒），默认30000
  3. useExponentialBackOff: 重连时间间隔是否以指数形式增长，默认true
  4. backOffMultiplier:递增倍数：默认2.0
  5. maxReconnectAttempts: 默认1|0，自5.6版本开始，-1为默认值，代表不限重试次数，0标识从不重试（只尝试连接一次，并不重连），5.6以前的版本，0为默认值，代表不重试，如果设置大于0的数，则代表最大重试次数。
  6. startupMaxReconnectAttempts: 初始化时的最大重试次数，一旦连接上，将使用maxReconnectAttempts的配置，默认0
  7. randomize: 使用随机连接，以达到负载均衡的目的，默认true
  8. backup: 提前初始化一个未使用的链接，以便进行快速的失败转移，默认false.
  9. trackMessages: 设置是否缓存（故障发生时）尚未传送完成的消息，当broker一旦重新连接成功，便将这些缓存中的消息刷新到新连接的代理中，使得消息可以在broker切换前后顺利传送。默认false
  10. maxCacheSize： 当trackMessage启动时，缓存的最大子接，默认为127*1024bytes
  11. updateURISupported：设定是否可以动态修改broker uri(自5.4版本开始），默认true.

官方集群文档：

http://activemq.apache.org/masterslave.html

原文地址：https://www.cnblogs.com/yangk1996/p/11667695.html

时间： 2024-10-03 22:47:29

ActiveMQ学习第五篇：ActiveMq伪集群学习的相关文章

ActiveMQ(七)_伪集群和主从高可用使用

一.本文目的 介绍如何在同一台虚拟机上搭建高可用的Activemq服务,集群数量包含3个Activemq,当Activemq可用数>=2时,整个集群可用. 本文Activemq的集群数量为3个,分别命名为mq1,mq2,mq3   二.概念介绍 1.伪集群 集群搭建在同一台虚拟机上,3个Activemq分别使用不同的端口提供服务,启用1个为Master,其它2个为Slaver,同一时间仅Master队列提供服务 2.高可用 3个Activemq服务,同一时间仅Master队列提供服务,当Mast

跟我学习SpringCloud 教程第三篇:注册中心集群篇－b2b2c小程序电子商务

集群环境搭建?了解springcloud架构可以加求求:三五三六二四七二五九第一步:我们新建两个注册中心工程一个叫eureka_register_service_master.另外一个叫eureka_register_service_backup eureka_register_service_master的application.properties配置如下?server.port=7998 eureka.client.register-with-eureka=false eureka.cli

zookeeper 伪集群搭建

简介Zookeeper 是 一个分布式.开放源码的分布式应用程序协调服务,是Google Chubby的一个开源实现,大多数的分布式应用都需要Zookeeper的支持,这篇文章先简单的和大家分享如何搭建一个zookeeper集群.(笔者注:Chubby是一个lock service,通过这个lock service可以解决分布式中的一致性问题.为这个lock service的实现是一个分布式的文件系统. 环境: 由于我是用自己的笔记本做实验,所以就用了一台虚拟机:其实和真实的差不多:也就配置有些

Redis 实战篇之搭建集群

Redis 集群简介 Redis Cluster 即 Redis 集群,是 Redis 官方在 3.0 版本推出的一套分布式存储方案.完全去中心化,由多个节点组成,所有节点彼此互联.Redis 客户端可以直接连接任何一节点获取集群中的键值对,不需要中间代理,如果该节点不存在用户所指定的键值,其内部会自动把客户端重定向到键值所在的节点. Redis 集群是一个网状结构,每个节点都通过 TCP 连接跟其他每个节点连接. 在一个有 N 个节点的集群中,每个节点都有 N-1 个流出的 TCP 连接,和

memcached演练(6) 高可用实例HA（伪集群方案 ）

本系列文章<memcached的演练>,这是第6篇,前面文章,已经阐述了,memcached的安装,访问,session管理,存储管理.从本篇开始,就分开有几篇演练下memcached的高可用相关. memcached的安全,承载着后台数据库的巨大访问,意义重大. 简单介绍下HA的梗概,如果时间允许尽量都演练下个方案,然后横向比较下各方案的优缺点. 本篇主要内容 伪集群方案的测试 明确memcached的高可用方案 通过比较memcached和redis两种NOSQL的方案,很容易发现,mem

Hadoop入门进阶步步高（五）-搭建Hadoop集群

五.搭建Hadoop集群 上面的步骤,确认了单机可以执行Hadoop的伪分布执行,真正的分布式执行无非也就是多几台slave机器而已,配置方面的有一点点区别,配置起来就非常简单了. 1.准备三台服务器 192.168.56.101 192.168.56.102 192.168.56.103 在每台机器的/etc/hosts中都将ip及hostname给映射上: 192.168.56.101  nginx1 192.168.56.102  nginx2 192.168.56.103  nginx3

入门初探+伪集群部署

Kafka入门初探+伪集群部署 Kafka是目前非常流行的消息队列中间件,常用于做普通的消息队列.网站的活性数据分析(PV.流量.点击量等).日志的搜集(对接大数据存储引擎做离线分析). 全部内容来自网络,可信度有待考证!如有问题,还请及时指正. 概念介绍 在Kafka中消息队列分为三种角色: producer,即生产者,负责产生日志数据. broker,存储节点,负责按照topic中的partition分区,均匀分布式的存储分区. consumer,即消费者,负责读取使用broker中的分区.

1.2 Zookeeper伪集群安装

1.2  Zookeeper伪集群安装 zookeeper单机安装配置可以查看 1.1 zookeeper单机安装 1.复制三份zookeeper,分别为zookeeper-3.4.7-node1,zookeeper-3.4.7-node2,zookeeper-3.4.7-node3 2.修改每个zookeeper文件夹下的配置文件 大部分配置与单机相同,核心为server的配置 server.1=localhost:2887:3887 server.2=localhost:2888:3888

四：ZooKeeper的集群，伪集群，单机的搭建

一:zookeeper集群模式配置[1]zookeeper/cnfg/zoo_sample.cfg复制一份样例文件,将配置写在zoo.cfg中.集群中所有节点的该目录下都要放置相同的配置文件#dataDir=/var/zookeeper存储zookeeper快照文件的目录,要在liunx该目录下创建zookeeper目录 #clientport=2181zookeeper服务器对外提供服务的端口号 #server.ID=host:port1:port2 ID==>ZK集群中节点的idhost==