ActiveMQ消息持久化-KahaDB

KahaDB

KahaDB是从ActiveMQ 5.4开始默认的持久化插件。

KahaDb恢复时间远远小于其前身AMQ并且使用更少的数据文件,所以可以完全代替AMQ。(AMQ适用于ActiveMQ5.3之前的版本。)

KahaDB的持久化机制同样是基于日志文件,索引和缓存。

一、配置方式:

activemq.xml

<persistenceAdapter>
      <kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

二、KahaDB主要特性

1、日志形式存储消息;

2、消息索引以B-Tree结构存储,可以快速更新;

3、完全支持JMS事务;

4、支持多种恢复机制;

三、KahaDB的结构

消息存储在基于文件的数据日志中。如果消息发送成功,变标记为可删除的。系统会周期性的清除或者归档日志文件。

消息文件的位置索引存储在内存中,这样能快速定位到。定期将内存中的消息索引保存到metadata store中,避免大量消息未发送时,消息索引占用过多内存空间。

Data logs:

Data logs用于存储消息日志,消息的全部内容都在Data logs中。

同AMQ一样,一个Data logs文件大小超过规定的最大值,会新建一个文件。同样是文件尾部追加,写入性能很快。

每个消息在Data logs中有计数引用,所以当一个文件里所有的消息都不需要了,系统会自动删除文件或放入归档文件夹。

Metadata cache :

缓存用于存放在线消费者的消息。如果消费者已经快速的消费完成,那么这些消息就不需要再写入磁盘了。

Btree索引会根据MessageID创建索引,用于快速的查找消息。这个索引同样维护持久化订阅者与Destination的关系,以及每个消费者消费消息的指针。

Metadata store 

在db.data文件中保存消息日志中消息的元数据,也是以B-Tree结构存储的,定时从Metadata cache更新数据。Metadata store中也会备份一些在消息日志中存在的信息,这样可以让Broker实例快速启动。

即便metadata store文件被破坏或者误删除了。broker可以读取Data logs恢复过来,只是速度会相对较慢些。

一个实际的ActiveMQ的KahaDB存储方式下的数据目录如下:

可以看出,上面directory一共有四个文件:

①db.data

它是消息的索引文件。本质上是B-Tree的实现,使用B-Tree作为索引指向db-*.log里面存储的消息。

②db.redo

主要用来进行消息恢复。

③db-*.log  存储消息的内容。对于一个消息而言,不仅仅有消息本身的数据(message data),而且还有(Destinations、订阅关系、事务...)

data log以日志形式存储消息,而且新的数据总是以APPEND的方式追加到日志文件末尾。因此,消息的存储是很快的。比如,对于持久化消息,Producer把消息发送给Broker,Broker先把消息存储到磁盘中(enableJournalDiskSyncs配置选项),然后再向Producer返回Acknowledge。Append方式在一定程度上减少了Broker向Producer返回Acknowledge的时间。

④lock文件

四、KahaDB的配置选项

属性
默认值 描述
directory activemq-data 消息文件和日志的存储目录
journalMaxFileLength 32mb 一个消息文件的大小。当存储的消息达到32MB时,新建一个新文件来保存消息。这个配置对生产者或消息者的速率有影响。比如,生产者速率很快而消费者速率很慢时,将它配置得大一点比较好。
indexWriteBatchSize 1000 当Metadata Cache中更新的索引到达了1000时,才同步到磁盘上的Metadata Store中。不是每次更新都写磁盘,而是批量更新写磁盘,比较写磁盘的代价是很大的。
indexCacheSize 10000 在内存中最多分配多个页面来缓存index。缓存的index越多,命中的概率就越大,检索的效率就越高。
enableJournalDiskSyncs true
默认采用同步写磁盘,即消息先存储到磁盘中再向Producer返回ACK。

cleanupInterval 30000 清除操作周期,单位ms。当消息被消息者成功消费之后,Broker就可以将消息删除了。
checkpointInterval 5000 索引写入到消息文件的周期,单位ms。每隔5s将内存中的Index(Metadata Cache)更新到磁盘的Index文件中(Metadata Store)

参考文档:

  1. http://activemq.apache.org/kahadb.html
  2. http://www.cnblogs.com/hapjin/p/5674257.html
  3. https://access.redhat.com/documentation/en-US/Fuse_ESB_Enterprise/7.0/html-single/Configuring_Message_Broker_Persistence/index.html#KahaDBOverview
时间: 2024-12-28 01:28:51

ActiveMQ消息持久化-KahaDB的相关文章

JMS消息持久化,将ActiveMQ消息持久化到mySql数据库中

ActiveMQ5.8.0版本采用kahadb作为默认的消息持久化方式.使用默认的持久化机制,我们不容易直接看到消息究竟是如何持久的.ActiveMQ提供的JDBC持久化机制,能够将持久化信息存储到数据库.通过查看数据库中ActiveMQ生成的表结构和存储的数据,能够帮助我们更好的了解消息的持久化机制.现在介绍如何配置activemq,将数据持久化到mysql中. 1.配置activeMQ需要的mySql数据源 为了能够使用JDBC访问mysql数据库,显然必须要配置消息服务器的数据库源.在ac

ActiveMQ消息持久化机制

为了避免意外宕机以后丢失信息,需要做到重启后可以恢复消息队列,消息系统一般都会采用持久化机制. ActiveMQ的消息持久化机制有JDBC,AMQ,KahaDB和LevelDB,无论使用哪种持久化方式,消息的存储逻辑都是一致的. 就是在发送者将消息发送出去后,消息中心首先将消息存储到本地数据文件.内存数据库或者远程数据库等,然后试图将消息发送给接收者,发送成功则将消息从存储中删除,失败则继续尝试. 消息中心启动以后首先要检查制定的存储位置,如果有未发送成功的消息,则需要把消息发送出去. >>

ActiveMQ 消息持久化到Mysql数据库

[[email protected] local]# tar -zxvf apache-activemq-5.15.8-bin.tar.gz[[email protected] local]# mv apache-activemq-5.15.8 activemq[[email protected] activemq]# cd conf/[[email protected] conf]# pwd/usr/local/activemq/conf[[email protected] conf]# cp

Activemq消息持久化

官方文档: http://activemq.apache.org/persistence.html ActiveMq持久化相关配置:/usr/local/apache-activemq-5.11.1/conf/activemq.xml 官方默认的持久化为Kahadb: <persistenceAdapter> <kahaDB directory="${activemq.data}/kahadb" </persistenceAdapter> 可以稍作调优:

ActiveMQ消息持久化-JDBC

JDBC 可以将消息存储到数据库中,例如:Mysql.SQL Server.Oracle.DB2. 使用JDBC持久化方式,数据库会创建3个表:activemq_msgs,activemq_acks和activemq_lock. 一.配置方式(Oracle): conf/acticvemq.xml <beans>   <broker brokerName="test-broker" persistent="true" xmlns="htt

ActiveMQ消息持久化-LevelDB

LevelDB 这种文件系统是从ActiveMQ5.8之后引进的,它和KahaDB非常相似,也是基于文件的本地数据库储存形式,但是它提供比KahaDB更快的持久性.与KahaDB不同的是,它不是使用传统的B-树来实现对日志数据的提前写,而是使用基于索引的LevelDB. <broker brokerName="broker" ... >   ...   <persistenceAdapter>     <levelDB directory="ac

JMS与ActiveMQ消息数据持久化

认识JMSJMS是Java消息服务(Java message service),是java平台关于面向消息中间件(MOM)的API.用于两个应用程序或分布式系统应用中,消息发送,消息异步处理.即应用程序间通信通过JMS服务,进行消息转发.应用程序间消息异步处理可解除应用程序的耦合.JMS有消息异步处理.程序间解耦.消息可靠的优势. JMS消息模型Queue点对点(Point to Point)Queue队列是点对点消费,发送者发送一条消息,只有唯一的一个消费者能对消息进行消费.消息生产者都将消息

JMS学习(七)-ActiveMQ消息的持久存储方式之KahaDB存储

一,介绍 自ActiveMQ5.4以来,KahaDB成为了ActiveMQ默认的持久化存储方式.相比于原来的AMQ存储方式,官方宣称KahaDB使用了更少的文件描述符,并且提供了更快的存储恢复机制. 二,KahaDB存储配置 在 conf/activemq.xml 中配置如下: <broker brokerName="broker" ... > <persistenceAdapter> <kahaDB directory="activemq-da

ActiveMQ的消息持久化机制

为了避免意外宕机以后丢失信息,需要做到重启后可以恢复消息队列,消息系统一般都会采用持久化机制. ActiveMQ的消息持久化机制有JDBC,AMQ,KahaDB和LevelDB,无论使用哪种持久化方式,消息的存储逻辑都是一致的. 就是在发送者将消息发送出去后,消息中心首先将消息存储到本地数据文件.内存数据库或者远程数据库等,然后试图将消息发送给接收者,发送成功则将消息从存储中删除,失败则继续尝试. 消息中心启动以后首先要检查指定的存储位置,如果有未发送成功的消息,则需要把消息发送出去. 1. J