CDH安装kafka

摘要：前言其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html,下面就是我根据这个文档的集成过程。ka
前言

其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。

具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html,

下面就是我根据这个文档的集成过程。

kafka相关包准备

csd包:http://archive.cloudera.com/csds/kafka/

parcel包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根据自己的集群的系统版本下载 )

我用的是centos6.5 x64的系统,所以我下载的parcel包为KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel与KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel.sha1

集成实现
1. 关闭集群,关闭cm服务( 假如不关闭cm服务,会出现在添加kafka服务时找不到相关的服务描述 )
2. 将csd包放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :
3. 将parcel包放到cm安装节点下的 /opt/cloudera/parcel-repo目录下,如图:
4. 启动cm服务,分配并激活percel包
5. 添加kafka服务:
6. 启动服务

1.下载 KAFKA 和SPARK2的 Parcel 包(可以从 TD CDH 包里拿到) 并放置到 Cloudera Manager 的 parcel 仓库目录下（登录 CM 控制台设置 Parcel配置）

2.对于前面重名的文件可以采取手动改名的形式，例如 mainifest.json 可以备份以前的json 文件并改名，

3.重启 cloudera server 和 agent 服务

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server restart
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent restart （agent服务器）

4.安装Kafka过程中如果启动失败需要更改默认的 Java Heap Size (默认50 M) 改成 512 即可

5.为客流运营平台单独安装 Kafka （需要先安装第二个Zookeeper集群客源专用）

6.然后重新启动 Kafka 服务，并检查其状态。

原文地址：https://www.cnblogs.com/fanshudada/p/9842354.html

时间： 2024-08-26 15:13:39

CDH安装kafka的相关文章

CentOS7安装CDH 第九章：CDH中安装Kafka

相关文章链接 1. CDH官网Kafka的安装教程网址 https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r 2. 下载对应的Kafka版本 1.查看CDH和Kafka的版本对应列表: 查看网址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_conso

Windows 安装Kafka

Windows 7 安装Apache kafka_2.11-0.9.0.1 下载所需文件 Zookeeper: http://www.apache.org/dyn/closer.cgi/zookeeper/ Kafka :http://kafka.apache.org/downloads.html 安装Zookeeper 进入zookeeper设置目录,E:\soft\elk\zookeeper-3.4.8\conf 将"zoo_sample.cfg" 复制一份,重命名为"z

Hadoop学习笔记-011-CentOS_6.5_64_HA高可用-Zookeeper3.4.5安装Kafka+消息监控KafkaOffsetMonitor

参考: http://www.cnblogs.com/smartloli/p/4538173.html http://blog.csdn.net/lsshlsw/article/details/47342821 虚拟机中共五个centos系统,每个系统有两个用户root和hadoop:cdh1,cdh2,cdh3,cdh4,cdh5 集群规划安装kafka(cdh3机器) 第一步,解压已下载好的kafka安装包 #tar -zxvf kafka_2.9.2-0.8.2.2.tgz 解压后删除k

附录E 安装Kafka

E.1 安装Kafka E.1.1 下载Kafka Kafka是由LinkedIn设计的一个高吞吐量.分布式.基于发布订阅模式的消息系统,使用Scala编写,它以可水平扩展.可靠性.异步通信和高吞吐率等特性而被广泛使用.目前越来越多的开源分布式处理系统都支持与Kafka集成,其中Spark Streaming作为后端流引擎配合Kafka作为前端消息系统正成为当前流处理系统的主流架构之一. Kafka安装包可以在其官网下载页面下载,下载地址如下,为加快下载速度可以选择中国境内的镜像,选择

【kafka】简单安装kafka单机版

1.安装kafka 下载地址 : https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz rz tar zxf kafka_2.11-0.9.0.0.tgz mv kafka_2.11-0.9.0.0 /usr/local/kafka 2.启停 /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.

安装Kafka集群

本文将介绍如何安装消息队列系统,Kafka集群: 1 安装Java yum install -y java-1.8.0-openjdk-devel 2 安装Zookeeper 下载.安装.启动Zookeeper wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz tar vxf zookeeper-3.4.11.tar.gz mv zookeeper

Kafka安装之二在CentOS 7上安装Kafka

一.简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案.Kafka的目的是通过Hadoop的并行加载机制来统

window上安装kafka

安装zookeeper kafka运行需要有jdk+zookeeper环境才能够使用,jdk的安装和环境变量的配置就不介绍了,这里需要先安装zookeeper.可以从官网上下载https://www.apache.org/dyn/closer.cgi/zookeeper/ 将下载下来的包解压一下,然后在conf目录下将zoo_sample.cfg改成zoo.cfg,如图之后打开zoo.cfg将里面的dataDir的路径改一下,我这里修改成下面的 dataDir=E:\\data\\logs\\

windows安装kafka过程【本地测试】外赋快速启动小脚本

winsows 上装kafka也蛮简单方便下载:wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.12-2.1.0.tgz 解压到某文件下 ${kafka-path} 在 ${kafka-path}/bin 下修改server.properties 中 : log.dirs=D:\\ant_JAR\\kafka_2.12-0.10.2.1\\kafka_log #${kafka-path}下建立k