storm,hbase和storm-kafka-0.8-plus兼容性问题

1  org.slf4j.impl.StaticLoggerBinder.SINGLETON错误

方案:

确保slf4j-api-1.5.6.jar 和slf4j-log4j12-1.5.6.jar 版本一致

如果发布,pom中其他依赖的jar包排除上面两个

2 本地调试不行,在LocalCluster cluster = new LocalCluster();突然停掉;或者报如下错误:

544 [main] INFO test.java.com.StormTridentKafkaTest - Simple Trident
Kafka spout test for Kafka version 0.8 and Storm 0.9 (Version in
pom.xml)
6167 [main] ERROR org.apache.zookeeper.server.NIOServerCnxn -
Thread Thread[main,5,main] died
java.lang.NoSuchFieldError:
AuthFailed

在pom中加入版本,排除或者替换其他相关依赖库的版本

<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.6.4</version>
</dependency>

方案:

hbase,或storm-kafka-0.8-plus中的zookeeper版本冲突,

在pom中加入版本,排除或者替换其他相关依赖库的版本

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>zookeeper</artifactId>
<version>3.3.1</version>
</dependency>

storm,hbase和storm-kafka-0.8-plus兼容性问题

时间: 2024-09-30 09:24:25

storm,hbase和storm-kafka-0.8-plus兼容性问题的相关文章

kafka+storm+hbase

kafka+storm+hbase实现计算WordCount. (1)表名:wc (2)列族:result (3)RowKey:word (4)Field:count 1.解决: (1)第一步:首先准备kafka.storm和hbase相关jar包.依赖如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&qu

Hadoop,HBase,Storm,Spark到底是什么?

Hadoop,HBase,Storm,Spark到底是什么? Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase:NoSQL数据库Flume:一个收集处理Hadoop数据的框架Oozie:一个让用户以多种语言(如MapReduce,Pig和Hive)定义一系列作业的工作流处理系统Ambari:一个基于w

1 storm基本概念 + storm编程规范及demo编写

本博文的主要内容有 .Storm的单机模式安装 .Storm的分布式安装(3节点)   .No space left on device .storm工程的eclipse的java编写 http://storm.apache.org/ 分布式的一个计算系统,但是跟mr不一样,就是实时的,实时的跟Mr离线批处理不一样. 离线mr主要是做数据挖掘.数据分析.数据统计和br分析. Storm,主要是在线的业务系统.数据像水一样,源源不断的来,然后,在流动的过程中啊,就要把数据处理完.比如说,一些解析,

Storm入门(Storm程序)

Storm简介 Storm是一个分布式实时流式框架,大多应用于以下场景:实时分析.在线机器学习.流式计算.分布式RPC ETL(BL分析)等等.同类型的框架有hadoop和spark.hadoop侧重于海量数据的离线计算,spark则更擅长实时迭代计算.要注意的是,storm并不直接处理数据,而是把我们的业务程序(逻辑)放在很多服务器上并发运行,待处理消息被分散到很多服务器上并发处理,以此扩展程序的负载能力. Direction 简单来说的话,Storm框架包含两个部分.一个是Storm程序,一

安装配置storm 第二步 配置Storm集群(二)

1.编辑host文件  vi  /etc/hosts   三台主机同时修改 192.168.2.20 storm01 192.168.2.21 storm02 192.168.2.22 storm03 2.主节点上(storm)配置storm (1)解压 apache-storm-1.0.3 (2)设置环境变量 : vi ~/.bash_profile STORM_HOME=/usr/local/apps/apache-storm-1.0.3 export STORM_HOME PATH=$ST

【Twitter Storm系列】Storm环境配置及吞吐量测试调优--个人理解

1.硬件配置信息 6台服务器,2个CPU,96G,6核,24线程 2.集群信息 Storm集群:1个nimbus,6个supervisor nimbus:192.168.7.127 supervisor: 192.168.7.128 192.168.7.129 192.168.7.130 192.168.7.131 192.168.7.132 192.168.7.133 Zookeeper集群: 3个节点 192.168.7.127:2181, 192.168.7.128:2181, 192.1

Kafka 0.10问题点滴

15.如何消费内部topic: __consumer_offsets 主要是要让它来格式化:GroupMetadataManager.OffsetsMessageFormatter 最后用看了它的源码,把这部分挑选出来,自己解析了得到的byte[].核心代码如下: // com.sina.mis.app.ConsumerInnerTopic             ConsumerRecords<byte[], byte[]> records = consumer.poll(512);    

Kafka 0.8协议

介绍 概述 预备知识 网络 分区和引导 分区策略 批量处理 版本控制和兼容性 协议 Protocol Primitive Types Notes on reading the request format grammars Common Request and Response Structure Requests Responses Message sets Compression The APIs Metadata API Metadata Request Metadata Response

kafka 0.8.1 新producer 源码简单分析

1 背景 最近由于项目需要,需要使用kafka的producer.但是对于c++,kafka官方并没有很好的支持. 在kafka官网上可以找到0.8.x的客户端.可以使用的客户端有C版本客户端,此客户端虽然目前看来还较为活跃,但是代码问题还是较多的,而且对于c++的支持并不是很好. 还有c++版本,虽然该客户端是按照c++的思路设计,但是最近更新时间为2013年12月19日,已经很久没有更新了. 从官方了解到,kafka作者对于现有的producer和consumer的设计是不太满意的.他们打算

通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA

<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses