CentOS7安装CDH 第九章:CDH中安装Kafka

相关文章链接

1. CDH官网Kafka的安装教程网址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

2. 下载对应的Kafka版本

1、查看CDH和Kafka的版本对应列表:

查看网址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

2、因为安装的CDH版本为5.10或5.12,故选择的Kafka版本为2.2.x和0.10.2,此时去网站找到对应的Kafka版本:

网址:https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

3、点击对应的下载地址,下载该Kafka的parcel包(需更改sha1的后缀名):

3. 安装Kafka服务

1、将Kafka的parcel包(3个文件)上传到/var/www/html/kafka_parcel目录下,需配置好https服务,请参考上述CDH安装时的方法配置,在浏览器上能访问到如下场景即可:

2、点击CDH主页面中的主机下面的Parcel按钮:

3、点击Parcel界面的配置按钮,配置Kafka的地址,该地址默认是官网地址,但在CDH的离线安装时已将所有的在线地址删除,所以在这加上Kafka的Parcel包的离线地址即可:

4、在Parcel界面,点击Kafka的下载按钮:

5、依次执行Kafka的分配和激活:

4. 将Kafka服务添加到CDH中

1、在CDH的主界面点击添加服务按钮,并选择Kafka服务:

2、给Kafka分配节点(Kafka后面2个服务一般情况下不选):

3、Kafka的配置文件进行配置:

a)  配置Kafka的文件存放目录,因为Kafka是依赖Zookeeper的,所以Kafka的文件也是存放在Zookeeper的目录中,如果要卸载Kafka时,需要将这些Kafka的文件也删除,所以可以把Kafka的文件存放在一个目录中:

Kafka的文件存放目录:

进入Zookeeper的文件管理界面(命令行):

b) 因为Kafka是一个消息中间键,有将生产者生产的信息进行缓存的操作,所以在配置Kafka的数据存储目录时需要注意,将数据存放到一个比较大的磁盘中,该数据存放的目录如下配置所示:

c) 在卸载重装Kafka时,需要将Zookeeper目录下的Kafka文件,以及Kafka数据存放的目录都清空,请注意是每个节点都要清空,否则不能重装。

4、启动Kafka服务,会发现Kafka服务不能成功启动,报错如下:

此时为主机的内存不足,返回Kafka配置文件界面,修改memory中的Java Heap Size of Broker值为512M(如果机器内存充足,可以再大一些),如下:

修改之后去CDH的主界面重启Kafka,启动成功,如下所示:

原文地址:https://www.cnblogs.com/yangshibiao/p/10868615.html

时间: 2024-10-25 00:22:45

CentOS7安装CDH 第九章:CDH中安装Kafka的相关文章

在腾讯云服务器centos7.5系统中lamp(centos7.5+apache+mysql+php)环境中安装ssl证书

# 在腾讯云服务器centos7.5系统中lamp(centos7.5+apache+mysql+php)环境中安装ssl证书 1.准备 yum install mod_ssl openssl 安装完毕后,会自动生成 /etc/httpd/conf.d/ssl.conf 文件 2.上传相关证书到服务器上的相关目录 (这里用的是腾讯云申请的免费证书) 证书: 2_www.some.cn.crt 3_www.some.cn.key 目录: /etc/pki/tls/certs/www.some.cr

Ubuntu安装二:在VM中安装Ubuntu

在VM中安装Ubuntu,先的安装VM,VM的安装请见:http://blog.csdn.net/u011043843/article/details/35291799 1.打开VM,新建虚拟机 2.选择自定义,然后下一步 3. 4. 5. 6. 7. 8. 9.默认,下一步 10.默认,下一步 11.默认,下一步 12.默认,下一步 13. 14.默认,下一步 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26.安装的过程中,可以去撸一把,或者泡杯茶什

程序包管理与程序编译安装(第九章)

1. 程序包管理工具 1.1 dpkg包管理工具 dpkg为基于debian发行版中的程序包管理工具,例如Ubuntu.linxu mint. aptitude:软件包管理系统,直接输入此命令可进入包管理的视图 dpkg -L Package_Name:列出指定软件包所包含的全部文件 dpkg --search absolute_file_name:查看指定文件属于哪个包 aptitude search Package_Name:查看所有该名字的软件包,会自动增加通配符,前面下是i表示已安装,c

Mac下安装VirtualBox并在VirtualBox中安装CentOS7

VirtualBox (百科)VirtualBox 是一款开源虚拟机软件.VirtualBox 是由德国 Innotek 公司开发,由Sun Microsystems公司Sun Microsystems公司出品的软件,使用Qt编写,在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox.Innotek 以 GNU General Public License (GPL) 释出 VirtualBox,并提供二进制版本及 OSE 版本的代码.使用者可以在Virtua

centos 安装教程 服务器配置教程 服务器中安装python 服务器中安装Django

一 .解决python编译安装所需的软件依赖 yum install gcc patch libffi-devel python-devel  zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y 二 下载python3.6源码包 1,在服务器opt目录下输入 wget https:

在默认安装openjdk的linux系统中安装独立jdk

安装独立jdk过程就不讲来,不会到百度之就可以了. 下面讲更改默认到jdk 1.更新参数使配置生效 update-alternatives --install /usr/bin/java java /***/bin/java 300 update-alternatives --install /usr/bin/javac javac /***/bin/javac 300 说明: ***为独立安装jdk路径 2.选择需要使用的版本 在终端输入命令:update-alternatives –-con

第九章 Java中线程池

Java中的线程池是运用场景最多的并发框架,几乎所有需求异步或并发执行任务的程序都可以使用线程池.在开发过程中,合理地使用线程池能够带来3个好处. 降低资源消耗:通过重复利用已创建的线程降低线程创建和销毁造成的消耗 提高响应速度:当任务到达时,任务可以不需要等到线程创建就能立即执行 提高线程的可管理性:线程是稀缺资源,如果无限制地创建,不仅消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一分配.调优和监控 线程池的实现原理 当向线程池提交一个任务之后,线程池是如何处理这个任务呢?如图 从

管理经济学第九章(垄断市场中的企业决策)

一.垄断市场的条件 及企业规律 垄断市场:一家企业完全控制整个行业的市场结构,即一家企业控制了某种 产品或服务的市场. 垄断市场的条件 1.在一个行业或在某一特定的市场中,只有一家企业提供全部产品,没有竞争对手 存在. 2.企业所生产和出售的商品没有相近的代用品,其他产品无法替代的. 3.其他任何企业进入该行业或市场都极为困难或不可能. 垄断市场形成的根本原因:进入障碍 进入障碍: 1.关键资源由某企业拥有. 2.某一企业比其他企业拥有更高的效率. 3.政府给予某企业排他性地生产或销售某种产品的

C++模板编程 - 第九章 模板中的名称

名称的分类 1. 受限名称:前面有::运算符成员访问运算符.比如 this->var 2. 依赖型名称:以某种方式依赖于模板参数.比如 std::vector<T>::iterator 更详细的分类见P116. 名称查找 1 int x; 2 3 class B 4 { 5 public: 6 int i; 7 }; 8 9 class D: public B 10 { 11 }; 12 13 void f(D* pd) 14 { 15 pd->i=3; //ok 16 D::x=