storm-kafka 访问带 kerberos 权限的 kafka

之前项目里面 pom 里面的 storm-kafka 的依赖版本是 1.0.1 或 1.1.0 这两个版本的 KafkaSpout 的  SpoutConfig 都是无法设置 securityProtocol 的。

如果强行设置会报 Exception in thread "main" java.lang.NoSuchFieldError: securityProtocol

而 HDP 2.5.0.0-1245 里面的 “定制版”。 pom 如下:

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-kafka</artifactId>
    <version>1.0.1.2.5.0.0-1245</version>
</dependency>

当然,此版本号过于特殊, maven central 里面是找不到的。

在这 http://repo.spring.io/libs-release/org/apache/storm/storm-kafka/1.0.1.2.5.0.0-1245/

在 pom 里面配置一下就可以了,或者把这个地址加到 nexus 私服上。

    <repositories>
        <repository>
            <id>spring-lib-release</id>
            <url>http://repo.spring.io/libs-release/</url>
        </repository>
    </repositories>

其它的就简单了。

下面是整体的 dependency

<dependencies>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.10</artifactId>
            <version>0.10.0.1</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-kafka</artifactId>
            <version>1.0.1.2.5.0.0-1245</version>
        </dependency>
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.1.0</version>
            <scope>${storm.scope}</scope>
        </dependency>
    </dependencies>

核心代码,2333:

 SpoutConfig spoutConfig = new SpoutConfig(hosts, topic, zkRoot, clientId);
        spoutConfig.securityProtocol = "SASL_PLAINTEXT";
时间: 2024-11-05 22:37:44

storm-kafka 访问带 kerberos 权限的 kafka的相关文章

带你认识一下Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据.也可以把它当作是分布式提交日志的发布-订阅消息,事实上Kafka官网上也是这么说明的. 关于Kafk你必须知道的几个关键术语 topics:Kafka接收的各种各样的消息 producers:发送消息到Kafka consumers:从Kafka接收消息的订阅者 broker:一个或多个服务器组成的Kakfa集群 下图是一个生产者通过kafka集群发送给消费者的示例 Topics和Logs 一个Top

Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告

本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告. 性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Avail

Kafka剖析(一):Kafka背景及架构介绍

Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成.InfoQ一直在紧密关注Kafka的应用以及发展,"Kafka剖析"专栏将会从架构设计.实现.应用场景.性能等方面深度解析Kafka. 背景介绍 Kafka创建背景 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activi

Kafka设计解析(一)- Kafka背景及架构介绍

本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1 摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率 而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成.本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比.并介绍了Kafka的架 构,Producer消息路由,Consumer Gro

转:Kafka剖析(一):Kafka背景及架构介绍

作者 郭俊 发布于infoq2015年3月10日   Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成.InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计.实现.应用场景.性能等方面深度解析Kafka. 背景介绍 Kafka创建背景 Kafka是一个消息系统,原本开发自LinkedIn

Windows Service 访问远程共享权限设置

最近为实现共享目录之间的文件同步,开发了一个Windows Service. 考虑到在拷贝过程中,如果网络忽然抽风访问不了,导致文件拷贝不完整的情况,果断抛弃.Net 自带的 COPY 方法,而使用DOS命令下的XCOPY命令. 嗯.....说干就干... XCOPY方案验证.开发.调试(在自个电脑上建了两个共享目录)....半天时间,全部搞定.貌似事情进展的太顺利了..... 既然本地调试没问题,那就部署到测试环境上吧.好吧...问题来了. 同步两个共享目录,居然失败!查看日志,XCOPY的退

【转】Kafka某topic无法消费解决方案&amp;Kafka某Topic数据清理

由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况.碰到这种情况,有三步去判断原因所在: step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障 step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题 step C:不到万不得已,则只能手动删除kafka的对应topic的Log,但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西

Kafka 集群消息监控系统:Kafka Eagle

基于kafka: kafka_2.11-0.11.0.0.tgz kafka-eagle-bin-1.2.1.tar.gz 1.下载解压 tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster 2.配置 vim /home/cluster/kafka-eagle/conf/system-config.properties #zookeeper集群别名 可以多个 kafka.eagle.zk.cluster.alias=cluster1,cl

kafka深度研究之路(4)-kafka和zookeeper 配置文件详细说明(来龙去脉)之zk配置

目录1/Zookeeper配置文件详解2/kafka配置文件参数详解3/生产环境 zk 与 kafka 配置文件备注4/kafka命令详解 1/安装完zookeeper 对其配置文件详解 zookeeper-3.4.14.tar.gz在安装zookeeper的时候我们要去修改zookeeper预装是conf目录下面的zoo_sample.cfg这个文件,首先我们要做的事就是重命名这个文件[[email protected] conf]$ cp zoo_sample.cfg zoo.cfg[[em