关于CDH5.11.0自带kafka 0.10 bootstrap-server 无法消费

近日需要在项目用到kafka,然后本地使用cdh集成的kafka 进行安装调试,以及些样例代码,sparkstreaming 相关调用kafka 的代码使用的原始的api 而没有走zookeeper,虽然消费者能启动,但无法消费内容。

开始我使用shell下的zk方式是可以消费误认为kafka也是没有问题的,后来想了一下是否shell也可能使用api来访问看下情况。

之后我使用bootstrap-server的方式在shell下进行测试,果然后些的样例代码一样,无法消费。

之后就是无脑的百度,谷歌,但没有得到解决方案。

之后我更改log4j 指定为debug出现如下错误:

DEBUG internals.AbstractCoordinator: Group coordinator lookup for group console-consumer-41941 failed: The coordinator is not available.

紧接着又是谷歌,资料也是很少。不过在这篇文章有人回复有可能该问题是0.10的一个死锁导致。

文章:https://github.com/dpkp/kafka-python/issues/743

bug??好吧。然后我关闭了cdh的kafka 下载了当前0.10大版本的最新版0.10.2.2进行安装,该版本无这样的情况。

本来想看下cdh目前的最新版的集成的kafka版本可惜没找到:

https://archive.cloudera.com/cdh5/cdh/5/

------------------------------分割线---------------------------

目前来看也就是说,如果我享用cdh的kafka 方便安装管理,那么我就只能代码使用zk的方式去取数据,而不能使用原始的api的形式。相关的样例代码只有去spark 的demo文件里边找。(文件为:spark/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala ),若按照目前的spark 2.* 的官方文档,则使用的全是api 的形式,那么目前的cdh的kafka版本应该就不能继续使用。特此记录

原文地址:http://blog.51cto.com/qidai/2156108

时间: 2024-11-29 04:16:29

关于CDH5.11.0自带kafka 0.10 bootstrap-server 无法消费的相关文章

排查logstash2.4升级到5.0版本后kafka不兼容问题

参考文档: /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-ka

Kafka 0.11客户端集群管理工具AdminClient

很多用户都有直接使用程序API操作Kafka集群的需求.在0.11版本之前,kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作,但社区官网主页并没有给出这两个类的使用文档.用户只能自行查看源代码和测试用例才能了解具体的使用方法.倘若使用客户端API的话(即添加kafka_clients依赖),用户必须构造特定的请求并自觉编写代码向指定broker创建Socket连接并发送请求,同样是十分繁琐.故Kafka 0.1

【原创】Kafka 0.11消息设计

Kafka 0.11版本增加了很多新功能,包括支持事务.精确一次处理语义和幂等producer等,而实现这些新功能的前提就是要提供支持这些功能的新版本消息格式,同时也要维护与老版本的兼容性.本文将详细探讨Kafka 0.11新版本消息格式的设计,其中会着重比较新旧两版本消息格式在设计上的异同.毕竟只有深入理解了Kafka的消息设计,我们才能更好地学习Kafka所提供的各种功能. 1. Kafka消息层次设计 不管是0.11版本还是之前的版本,Kafka的消息层次都是分为两层:消息集合(messa

kafka 0.11.0.3 源码编译

首先下载 kafka 0.11.0.3 版本 源码: http://mirrors.hust.edu.cn/apache/kafka/0.11.0.3/ 下载源码 首先安装 gradle,不再说明 1. 解压缩source压缩包: 2. 进入项目根目录下,执行 gradle 3. 转换为 idea 项目 gradlew idea gradle过程遇到的问题: 问题一: jcenter 连接不上问题 问题描述: * What went wrong: A problem occurred confi

Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验

[kafka cluster机器]:机器名称 用户名称sht-sgmhadoopdn-01/02/03 root [安装目录]: /root/learnproject/app 1.将scala文件夹同步到集群其他机器(scala 2.11版本,可单独下载解压) [[email protected] app]# scp -r scala [email protected]:/root/learnproject/app/ [[email protected] app]# scp -r scala [

Kafka 0.10问题点滴

15.如何消费内部topic: __consumer_offsets 主要是要让它来格式化:GroupMetadataManager.OffsetsMessageFormatter 最后用看了它的源码,把这部分挑选出来,自己解析了得到的byte[].核心代码如下: // com.sina.mis.app.ConsumerInnerTopic             ConsumerRecords<byte[], byte[]> records = consumer.poll(512);    

[OpenGL] 2、企业版VC6.0自带的Win32-OpenGL工程浅析

一. 建立工程 O(∩_∩)O~上一节介绍了一种非常容易的OpenGL的搭建方法,这一节将就上一节介绍的VC6.0企业版自带的OpenGL Win32 Application建立一个模板工程,并分析这个模板工程,便于今后我们在此基础上进行修改~ PS: 如果有报错,请仔细读上一节的介绍哦~好像Win8不行的! 二. 框架逻辑分析 O(∩_∩)O~工程建好之后主要的就是上图中用红框框起来的文件   2-1. OpenGL1.cpp分析 其中OpenGL1.cpp就是Win32应用程序的主逻辑框架啦

c++11特性与cocos2d-x 3.0之std::bind与std::function

昨天同事让帮忙写一小功能,才发现cocos2d-x 3.0 和 cocos2d-x 3.0rc0 差别还是相当大的. 发现Label这一个控件,3.0就比rc0版本多了一个创建函数,更为关键的是3.0内的Label锚点是在ccp(0.5,0.5),而一直3.0rc0是ccp(0,0). 累觉不爱.尽管cocos2d-x改变太快,兼容性一次次的暴露出不足,但是,总归是向好的方向进行.于是下载了3.0来玩玩~ cocos new 出新的项目之后,仔细阅读代码,才发现了一句3.0区别于2.0的代码:

Kafka 0.8协议

介绍 概述 预备知识 网络 分区和引导 分区策略 批量处理 版本控制和兼容性 协议 Protocol Primitive Types Notes on reading the request format grammars Common Request and Response Structure Requests Responses Message sets Compression The APIs Metadata API Metadata Request Metadata Response