安装kafka + zookeeper集群

系统:centos 7.4

要求:jdk :1.8.x

kafka_2.11-1.1.0

1、绑定/etc/hosts

10.10.10.xxx      online-ops-xxx-01
10.10.10.xxx      online-ops-xxx-02
10.10.10.xxx      online-ops-xxx-03

2、下载软件包

kafka_2.11-1.1.0

3、配置文件kafka

mkdir /data/kafka

#vim /usr/local/kafka/config/server.properties

broker.id=1   #每台机器不一样
listeners=PLAINTEXT://10.30.30.253:9092  #本机ip
host.name=online-ops-elk-01   #本机主机名
num.network.threads=18
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka  #本机路径,需要创建
num.partitions=3
num.recovery.threads.per.data.dir=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=online-ops-xxx-01:2181,online-ops-xxx-02:2181,online-ops-xxx-03:2181
zookeeper.connection.timeout.ms=6000
default.replication.factor = 2
delete.topic.enable=true
unclean.leader.election.enable=false 
min.insync.replicas=2

4、配置文件zookeeper

mkdir -p  /data/zookeeper  /data/logs/zookeeper

#vim /usr/local/kafka/config/zookeeper.properties

maxClientCnxns=100
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/data/zookeeper   #本机路径,需要创建
# the port at which the clients will connect
clientPort=2181
# the directory where the transaction logs are stored.
dataLogDir=/data/logs/zookeeper    #本机路径,需要创建
autopurge.purgeInterval=6
autopurge.snapRetainCount=20
server.1=online-ops-xxx-01:2888:3888    #服务器主机名
server.2=online-ops-xxx-02:2888:3888   #服务器主机名
server.3=online-ops-xxx-03:2888:3888   #服务器主机名

5、写入id

echo 1 >/data/zookeeper/myid  #和配置文件id对应 ,每台机器 都 不一样,集群内唯一id

三台都要配置:

6、启动

kafka:

/usr/local/kafka/bin/kafka-server-start.sh  /usr/local/kafka/config/server.properties

zookeeper:

/usr/local/kafka/bin/zookeeper-server-start.sh  /usr/local/kafka/config/zookeeper.properties

7、supervisord管理启动:

安装见其它的文档:ansible-安装supervisor

#cat /etc/supervisord.d/kafka.ini 
[supervisord]
minfds=65536
minprocs=32768

[program:kafka]
command=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
user=root
process_name=kafka
numprocs=1
stopsignal=INT
redirect_stderr=true
stdout_logfile=/data/logs/kafka/kafka.log
stdout_logfile_maxbytes=300MB
stdout_logfile_backups=10
stopasgroup=true
killasgroup=true

# cat /etc/supervisord.d/zookeeper.ini 
[supervisord]
minfds=65536
minprocs=32768

[program:zookeeper]
command=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
user=root
process_name=zookeeper
numprocs=1
stopsignal=INT
redirect_stderr=true
stdout_logfile=/data/logs/zookeeper/zookeeper.log
stdout_logfile_maxbytes=300MB
stdout_logfile_backups=10
stopasgroup=true
killasgroup=true

重启supervisord

supervisorctl update zookeeper

supervisorctl restart zookeeper

维护:

新建topic:

bin/kafka-topics.sh --create --zookeeper online-ops-xxx-01:2181,online-ops-xxx-02:2181,online-ops-xxx-03:2181 --replication-factor 2 --partitions 6 --topic test

删除topic

/usr/local/kafka/bin/kafka-topics.sh --zookeeper online-ops-xxx-01:2181,online-ops-xxx-02:2181,online-ops-xxx-03:2181  --delete --topic "online-algo-kafka"

列出哪些topic:

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

测试kafka集群
(此处使用的zookeeper ip不同上所示,改成自己创建的即可)
1-进入kafka根目录,创建topic--test
bin/kafka-topics.sh --create --zookeeper online-ops-xxx-01:2181,online-ops-xxx-02:2181,online-ops-xxx-03:2181 --replication-factor 1 --partitions 1 --topic test

2-列出已创建的topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
3-模拟客户端去发送消息
bin/kafka-console-producer.sh --broker-list online-ops-xxx-01:9092,online-ops-xxx-02:9092,online-ops-xxx-03:9092 --topic test

4-模拟客户端去接受消息
bin/kafka-console-consumer.sh --zookeeper online-ops-xxx-01:2181,online-ops-xxx-02:2181,online-ops-xxx-03:2181 --from-beginning --topic test

原文地址:https://www.cnblogs.com/Qing-840/p/9595673.html

时间: 2024-10-10 23:40:52

安装kafka + zookeeper集群的相关文章

CentOS 6.9安装配置ZooKeeper集群

一.ZooKeeper相关概念简介: ZooKeeper是一个开源的.分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等.ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 二.演示环境: IP地址 节点名称 操作系统 JDK版本 ZooKeeper版本 192.168.1.144 s

zookeeper的安装及zookeeper集群的搭建

Window1.将zookeeper的安装包解压(具体路径,自己定) 2.进去解压后的conf目录 将zoo_sample.cfg复制到当前路径 并改名为zoo.cfg(因为系统默认寻找 zoo.cfg) 3.实现dubbo-admin的访问:>将dubbo-admin-2.5.4.war的war包放入tomcat安装路径下的webapps目录然 >先开启zookeeper,cmd命令提示符,进入zookeeper的安装路径进入zookeeper下的bin目录 >命令:zkServer.

zookeeper 集群安装(单点与分布式成功安装)

参考 http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.html ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务--分布式同步(Distributed Synchronization).命名服务(Naming Service).集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务.ZooKeeper本身可以以Standa

Zookeeper集群安装(HBase集群已安装好)

HBase集群已安装好,在使用了其内置的zookeeper集群出现问题无法解决后改用自己安装的zookeeper集群,HBase集群可成功启动. 1.在/home/instal目录下,解压zookeeper-3.4.6到该目录下 tar  -zxvf  zookeeper-3.4.6.tar.gz  -C /home/instal 2.复制zookeeper-3.4.6/conf下的zoo_sample.cfg,并且重命名为zoo.cfg cp  zoo_sample.cfg  zoo.cfg

zookeeper 集群安装(单点与分布式成功安装)摘录

http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.html ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务--分布式同步(Distributed Synchronization).命名服务(Naming Service).集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务.ZooKeeper本身可以以Standalon

搭建zookeeper集群

简介: Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将 从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码.   安装和配置详解 本文介绍的 Zookeep

zookeeper(三)--- 搭建zookeeper集群

zookeeper(三)--- 搭建zookeeper集群 环境 vagrant虚拟机 centos7 SecureCRT 软件 zookeeper3.4.6.tar.gz 步骤 1.使用vagrant创建3个虚拟机 IP地址:192.168.21.222,192.168.21.223,192.168.22.224 2.使用SecureCRT链接虚拟机 3.安装配置zookeeper 安装配置Zookeeper集群 解压 tar xzvfzookeeper-3.4.6.tar.gz 重命名解压后

hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装

创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令.进程名称****************************启动集群命令: start-all.sh启动zookeeper: zkServer.sh start 启动journalnode: hadoop-daemon.sh start journalnode启动namenode: hadoop-daemon.sh --script hdfs start namenode启动z

Zookeeper 集群+kafka集群+kafka manager搭建

软件需求,软件包都上传到 /usr/local/src目录: jdk-8u101-linux-x64.tar.gz kafka.2.11-0.8.22.tar.gz zookeeper-3.4.9.tar.gz kafka-manager-1.3.0.7.zip * kafka-manager是通过scala打包获取一个编译完的项目,需要提前编译好,参考 https://github.com/yahoo/kafka-manager 硬件需求,四个主机: 192.168.100.100 : kaf