CentOS 7.2 中 Kafka,Zookeeper的单机部署,伪分布式部署以及真正的分布式部署

由于kafka依赖于zookeeper,所以这里先安装zookeeper。

安装环境

先列一下安装环境:

操作系统:centos 7.2

JDK版本:1.8.1

kafka版本:2.11-0.10.1.1

zookeeper版本:zookeeper-3.4.9

zookeeper的下载、配置、启动

zookeeper下载链接:

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.9/

zookeeper的安装路径:/usr/local/src

zookeeper配置

首先去到zookeeper配置文件所在目录:cd /usr/local/src/zookeeper-3.4.9/conf

然后复制一份zoo_sample.cfg并重命名为zoo.cfg,通过命令vi修改zoo.cfg 文件,改动的参数如下:

修改dataDir目录的位置,dataDir=/usr/local/src/zookeeper-3.4.9/data/zookeeper

修改dataLofDir目录的位置,dataLogDir=/usr/local/src/zookeeper-3.4.9/log

注意,上面两个文件夹的位置,要确保他们是真的存在,如果不存在,先手动创建他们。可以通过如下命令创建文件夹:

mkdir -p /usr/local/src/zookeeper-3.4.9/data/zookeeper

mkdir -p /usr/local/src/zookeeper-3.4.9/log

在/usr/local/src/zookeeper-3.4.9/data/zookeeper 目录下创建一个myid文件,里面写1,第二个zookeeper机器写2,第三个zookeeper写3。

可以通过命令来创建myid文件,并写入数字1,2,3,命令如下:

echo "1"> /usr/local/src/zookeeper-3.4.9/data/zookeeper/myid

echo "2"> /usr/local/src/zookeeper-3.4.9/data/zookeeper/myid

echo "3"> /usr/local/src/zookeeper-3.4.9/data/zookeeper/myid

在配置文件底部添加zookeeper集群的ip

server.1=192.168.7.64:2888:3888

server.2=192.168.7.65:2888:3888

server.3=192.168.7.66:2888:3888

server.数字中的1,2,3 就是上面myid里面写的1,2,3

注意,上面只是一个机器的配置文件的修改,你还要修改其他两个机器的配置文件,修改步骤都是一样的

其他2个机器也是这样修改配置文件。

zookeeper启动

当3个机器的配置文件都修改好了之后,可以开启zookeeper,启动如下:./zkServer.sh start

验证启动状态:./zkServer.sh status

Kafka下载、配置、启动

kafka目前使用版本为2.11-0.10.1.1。

kafka下载

下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

Kafka的安装路径为:/usr/local/src

kafka配置

去到kafka配置文件所在目录:cd /usr/local/src/kafka_2.11-0.10.1.1/config,

然后通过命令vi修改配置文件:vi server.properties

在Server Basics 添加如下信息:host.name 是本机ip, port 默认端口号可不改,broker.id 如果是配第一个写1,第二个写2

修改log的存放路径,例如:log.dirs=/usr/local/src/kafka_2.11-0.10.1.1/tmp/kafka-pogs. 主要要确保该路径是存在的。

如果路径不存在,可以通过命令来创建:mkdir -p /usr/local/src/kafka_2.11-0.10.1.1/tmp/kafka-logs

修改zookeeper的连接地址

kafka启动

去到kafka的bin目录:cd /usr/local/src/kafka_2.11-0.10.1.1/bin

然后通过命令启动kafka:[[email protected] bin]# ./kafka-server-start.sh ../config/server.properties

你也可以通过守护进程的方式启动kafka:

[[email protected] bin]# ./kafka-server-start.sh -daemon ../config/server.properties

或者[[email protected] bin]# nohup ./kafka-server-start.sh  ../config/server.properties &

当kafka和zookeeper都启动好之后,可以通过在kafka生产消息和消费消息来验证kafka是否能正常使用。

生产消息命令:

./kafka-console-producer.sh --broker-list 192.168.7.63:9092,192.168.7.64:9092,192.168.7.65:9092 --topic albert

消费消息命令:

./kafka-console-consumer.sh --zookeeper 192.168.7.64:2181,192.168.7.65:2181,192.168.7.66:2181 --topic albert

时间: 2024-08-04 20:41:06

CentOS 7.2 中 Kafka,Zookeeper的单机部署,伪分布式部署以及真正的分布式部署的相关文章

zookeeper(单机、伪集群、集群)部署

ZooKeeper是一个分布式的.开源的分布式应用程序协调服务,可以在分布 式环境中实现应用配置管理.统一命名服务.状态同步服务等功能.ZooKeeper是一种为分布式应用所设计的高可用.高性能的开源协调服务,它提供了一项基本服务:分布式锁 服务.由于ZooKeeper开源的特性,在其分布式锁实现的基础上,又被摸索出了其它的功用,譬如:配置维 护.组服务.分布式消息队列等等. ZooKeeper维护了一个类似文件系统的数据结构,其内部每个子目录都被 称作znode(目录节点),与文件系统一样,我

安装zookeeper(单机,伪集群)

1.登陆zookeeper官网下载 https://zookeeper.apache.org/ zookeeper-3.4.8.tar.gz 解压:tar -zxvf zookeeper-3.4.8.tar.gz 1.单机 进入conf文件夹 创建一个配置文件zoo.cfg. tickTime=2000 initLimit=10 syncLimit=5 dataDir=/usr/local/zookeeper/zk/data clientPort=2181 前提创建了/usr/local/zoo

zookeeper在单机上伪集群测试时,出现Unable to start AdminServer, exiting abnormally

出现该问题的原因大家都知道因为启动完一个zookeeper server后,默认的zkServer.cmd中,没有将对应的不启动AdminServer屏蔽. AdminServerFactory.java中代码如下 public static AdminServer createAdminServer() { if (!"false".equals(System.getProperty("zookeeper.admin.enableServer"))) { try

ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://tchuairen.blog.51cto.com/3848118/1861167 什么要做日志分析平台? 随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐. 待解决的痛点: 1.大量不同种类的日志成为了运

Kafka Zookeeper 基本命令示例

装修中... Kafka 新建Topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic 查看已存在Topic列表 bin/kafka-topics.sh --list --zookeeper localhost:2181 查看指定Topic状态 bin/kafka-topics.sh --describe --zookee

CentOS 7环境下Kafka的安装和基本使用

CentOS 7环境下Kafka的安装和基本使用 基础环境 Windows 10 X64 VMware-workstation-full-12.0.0-2985596 CentOS Linux release 7.4.1708 CentOS 7环境下安装Kafka 安装JDK 在CentOS上将JDK下载到本地.jdk-8u152-linux-x64.tar.gz 解压并将文件移动到/opt/java目录下 sudo tar -vxzf jdk-8u152-linux-x64.tar.gzsud

ASP.Net Core 中使用Zookeeper搭建分布式环境中的配置中心系列一:使用Zookeeper.Net组件演示基本的操作

前言:马上要过年了,祝大家新年快乐!在过年回家前分享一篇关于Zookeeper的文章,我们都知道现在微服务盛行,大数据.分布式系统中经常会使用到Zookeeper,它是微服务.分布式系统中必不可少的分布式协调框架.它的作用体现在分布式系统中解决了配置中心的问题,以及解决了在分布式环境中不同进程之间争夺资源的问题,也就是分布式锁的功能以及分布式消息队列功能等等.所以在微服务的环境中Zookeeper是现在很多公司首选的分布式协调框架,包括我之前的公司也在使用Zookeeper.说了这么多,没别的就

解决Centos 6.3 中 gedit中文乱码问题

1.安装gconf-editor yum list | grep conf-editor yum install gconf-editor 2.运行gconf-editor 设置: apps  ---> gedit-2  --->  preferences  ----> encoding auto-detected 项添加Add New list value: GB2312 shown_in_menu 项添加 New list value: GB2312  解决Centos 6.3 中

java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘

java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102export JRE_HOME=/usr/java/jdk1.8.0_102/jreexport CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME