rocketmq 问题

1. 收不到消息-consumerOffset.json 信息错位

这种情况一般是,手动删除了store/commitlog目录里的数据等非常规手段造成了consumerOffset.json中记录的还是原来的信息,导致consumer收不到消息。

rocketmq的broker,一个消息主题对应多个队列,这些队列的消费进度会记录在consumerOffset.json文件中。所以一旦这个文件中记录的还是老的offset信息,那么既然就消费不到消息。

一个主题对应几个队列,是记录在$home/store/config/topics.json中的。

topics.json同事发现 如果是自动创建topic,则此处值默认是4,对应broker配置文件的defaultTopicQueueNums项目。如果是手动创建,此处值是8。

注意上面这个文件的路径,目前分析来看,即使你在broker的配置文件中指定了storePathRootDir在其他路径,但是topics.json的信息还是在上面读取。因为这个定制配置信息是后加载的。(rocketmq版本 3.5.8)

这种问题处理办法,如果不是生产环境,可以停掉broker然后把store目录删除,重启broker。

此处收不到 消息没有任何报错。

2. 收不到消息-subscription group not exist

这种情况是在broker的配置文件中设置了autoCreateSubscriptionGroup项为false(默认这一项值true)。

解决办法:要么将上述配置项修改成true。要么用命令行创建订阅组。

sh mqadmin updateSubGroup -g test_group -n localhost:9876 -b localhost:10911

注意:这种情况 在pull形式消费时会报错,在push形式消费时没有任何错误。

错误异常代码:

response.setCode(ResponseCode.SUBSCRIPTION_GROUP_NOT_EXIST);
response.setRemark("subscription group not exist, " + requestHeader.getConsumerGroup() + " "
                    + FAQUrl.suggestTodo(FAQUrl.SUBSCRIPTION_GROUP_NOT_EXIST));

3. 收不到消息-一般需要定位哪些代码

正常来讲,分为两个方面,一是看producer端发送消息有没有成功,而是看consumer端有没有拿到消息

1. producer端定位broker服务的

com.alibaba.rocketmq.store.CommitLog.putMessage(MessageExtBrokerInner)

看看这个方法的返回的result是不是成功的即可。

详细分析参见我之前写的  rocketmq源码分析2-broker的消息接收

2. consumer端定位broker服务的

com.alibaba.rocketmq.broker.processor.PullMessageProcessor.processRequest(Channel, RemotingCommand, boolean)

看看能不能走到方法体中的case found分支即可。

详细分析参见我之前写的 rocketmq源码分析3-consumer消息获取

4. 消费完的消息 哪去了

我们在消费完消息后,如果是push的形式 我们会回一个success的状态,如果是pull的形式我们会更新offset。此处可以看到,消费完之后,更新的消息消费的offset,以使mq不会再定时push给你。

那么消费完的消息在broker上还在不在?答案是在的,硬盘上有存储。因为我们可以通过根据消息id查看的消息的方式找到消息。

MessageExt viewMessage = consumer.viewMessage("0A00007400002A9F0000000000010C5E");

当然,rocketmq允许你配置,消息留存多长时间,以及每天几点清除。

--EOF--

时间: 2024-10-30 08:10:12

rocketmq 问题的相关文章

分布式开放消息系统(RocketMQ)的原理与实践

分布式消息系统作为实现分布式系统可扩展.可伸缩性的关键组件,需要具有高吞吐量.高可用等特点.而谈到消息系统的设计,就回避不了两个问题: 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一款高性能.高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的? 关键特性以及其实现原理 一.顺序消息 消息有序指的是可以按照消息的发送顺序来消费.例如:一笔订单产生了 3 条消息,分别是订单创建.订单付款.订单完成.消费时,要按照顺序依次消费才有意

rocketmq 命令示例

http://www.360doc.com/content/16/0111/17/1073512_527143896.shtml http://www.cnblogs.com/marcotan/p/4256857.html RocketMQ常用命令 二.根据msgId查询消息 1.文档: 指令 queryMsgById 类路径 com.alibaba.rocketmq.tools.command.message.QueryMsgByIdSubCommand 参数 是否必填 说明 -i 是 msg

rocketmq安装与基本操作

如果不是因为政治原因,就rocketmq的社区活跃度.版本.特性和文档完善度,我是无论如何也不会使用rocketmq的. rocketmq严格意义上并不支持高可靠性,因为其持久化只支持异步,有另外一个线程flush,不支持配置同步刷新到磁盘.只能说多个节点宕机的概率很低很低,外加现在的服务器一般都是UPS. rocketmq官方提供了一份与activemq,kafka的特性对比(但没有包括与rabbitmq的比较).引用如下: Messaging Product Client SDK Proto

50.RocketMQ (quickstart)

1.订阅消息 /** * Copyright (C) 2010-2013 Alibaba Group Holding Limited * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at *

rocketmq源码分析3-consumer消息获取

使用rocketmq的大体消息发送过程如下: 在前面已经分析过MQ的broker接收生产者客户端发过来的消息的过程,此文主要讲述订阅者获取消息的过程,或者说broker是怎样将消息传递给消费者客户端的,即上面时序图中拉取消息(pull message)动作.. 1. 如何找到入口(MQ-broker端) 分析一个机制或者功能时,我们首先希望的是找到入口,前一篇我们是通过端口号方式顺藤摸瓜的方式找到了入口.但是此篇略微不同,涉及到consumer客户端与broker的两边分析,最终发现逻辑还是比较

RocketMQ源码学习--消息存储篇

1.序言 今天来和大家探讨一下RocketMQ在消息存储方面所作出的努力,在介绍RocketMQ的存储模型之前,可以先探讨一下MQ的存储模型选择. 2.MQ的存储模型选择 个人看来,从MQ的类型来看,存储模型分两种: 需要持久化(ActiveMQ,RabbitMQ,Kafka,RocketMQ) 不需要持久化(ZeroMQ) 本篇文章主要讨论持久化MQ的存储模型,因为现在大多数的MQ都是支持持久化存储,而且业务上也大多需要MQ有持久存储的能力,能大大增加系统的高可用性,下面几种存储方式: 分布式

rocketMq

1. 下载安装包,解压 https://github.com/alibaba/RocketMQ 2. cmd 3. 启动 mqnameserv C:\Users\Administrator>cd D:\download\alibaba-rocketmq\bin C:\Users\Administrator>mqnamesrv.exe -n 127.0.0.1:9876;192.168.0.1:9876 'mqnamesrv.exe' 不是内部或外部命令,也不是可运行的程序 或批处理文件. C:

转:Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能 (阿里中间件团队博客)

from: http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/ 引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦.现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注. 那么,消息中间件性能究竟哪家强? 带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka.RabbitM

RocketMQ与Kafka对比(18项差异)

转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在

RocketMQ 源码分析

RocketMQ 源码分析 RocketMQ 的设计思想来自于Kafka,在具体设计时体现了自己的选择和需求,具体差别可以看RocketMQ与Kafka对比(18项差异).接下来记录下自己阅读源码的一些探索. RocketMQ的整体架构如下,可以看到各个组件充当的角色,Name Server 负责维护一些全局的路由信息:当前有哪些broker,每个Topic在哪个broker上等; Broker具体处理消息的存储和服务:生产者和消费者是消息的源头和归宿. 在知道各个角色的基本位置后,就该让程序跑