zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)

---恢复内容开始---

使用kafka的zookeeper来搞集群的话和单纯用zk的其实差不了多少。

0.说在前头,搭建kafka集群之前请把每个服务器的jdk搞起来。

1.安装kafka

wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

下载kafka然后放到你的目录下

解压

tar zxvf kafka_2.11-2.0.0.tgz

2.配置zk

cd kafka_2.11-2.0.0/config

vi zookeeper.properties

配置好数据的存放目录dataDir以及集群的信息。

注意上面的0,1,2和每个ip都是对应的,现在如果我们系统中没有我们设置的dataDir的目录的话,现在就去新建一个。

接着vi myid  新建一个myid文件

接下来根据ip设置myid的内容

比如:

id:69       myid的内容就是0(对应server0)

ip:85         myid的内容就是1(对应server1)

ip:84     myid的内容就是2(对应server2)

:wq保存退出。

3.开启zk

【依次开启!!不要一次在xshell同时开启多个zk!!】

cd /opt/kafka_2.11-2.0.0

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

如果没起来的自己去看看log或者有没有安装jdk,可以ps -ef | grep zookeeper查看有没有启动zookeeper,经常ps -ef这是个很好的习惯

---恢复内容结束---

原文地址:https://www.cnblogs.com/daysn/p/10121563.html

时间: 2024-08-06 16:03:33

zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)的相关文章

集群环境下定时调度的解决方案之Quartz集群

集群环境可能出现的问题 在上一篇博客我们介绍了如何在自己的项目中从无到有的添加了Quartz定时调度引擎,其实就是一个Quartz 和Spring的整合过程,很容易实现,但是我们现在企业中项目通常都是部署在集群环境中的,这样我们之前的定时调度就会出现问题了,因为我们的定时任务都加载在内存中的,每个集群节点中的调度器都会去执行,这就会存在重复执行和资源竞争的问题,那么如何来解决这样的问题呢,往下面看吧... 解决方案 在一般的企业中解决类似的问题一般都是在一个note上部署Quartz其他note

kafka zookeeper学习(2) 测试kafka与zookeeper环境

上节搭建了zookeeper与kafka环境,这一节要测试环境是否能正常工作. 1,紧接着上节的内容,zookeeper与kafka都启动好了,新开一个命令窗口,定为到 D:\soft\kafka_2.11-0.9.0.0\bin\windows 2,创建topic 输入命令  .\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 来创建t

CAS服务器集群和客户端集群环境下的单点登录和单点注销解决方案

CAS的集群环境,包括CAS的客户应用是集群环境,以及CAS服务本身是集群环境这两种情况.在集群环境下使用CAS,要解决两个问题,一是单点退出(注销)时,CAS如何将退出请求正确转发到用户session所在的具体客户应用服务器,而不是转发到其他集群服务器上,二是解决CAS服务端集群环境下各种Ticket信息的共享. CAS集群部署 由于CAS Server是一个Web应用,因此可部署在Tomcat等容器中.直接部署CAS集群并使用负载均衡配置后,由于每次访问的CAS Server不固定,会发生通

spring mvc +mybatis + KafKa+Flume+Zookeeper分布式架构

开发工具 1.Eclipse IDE:采用Maven项目管理,模块化. 2.代码生成:通过界面方式简单配置,自动生成相应代码,目前包括三种生成方式(增删改查):单表.一对多.树结构.生成后的代码如果不需要注意美观程度,生成后即可用. 技术选型(只列了一部分技术) 1.后端 服务框架:Dubbo.zookeeper.Rest服务 缓存:Redis.ehcache 消息中间件:ActiveMQ 负载均衡:Nginx 分布式文件:FastDFS 数据库连接池:Alibaba Druid 1.0 核心框

docker容器中搭建kafka集群环境

Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+1,这里使用3台node进行搭建zookeeper集群. 1. 3台linux服务器都使用docker容器创建,ip地址分别为 NodeA:172.17.0.10 NodeB:172.17.0.11 NodeC:172.17.0.12 2. zookeeper的doc

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何安装hadoop2.9.0请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0> 如何安装spark2.2.1请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何安装hadoop2.9.0请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0> 如何安装spark2.2.1请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装

一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 slave2 具体请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 2. 安装zookeeper分布式集群具体请参考<Kafka:ZK+Kafka+Spark Streaming集群

kafka 集群环境搭建 java

简单记录下kafka集群环境搭建过程, 用来做备忘录 安装 第一步: 点击官网下载地址 http://kafka.apache.org/downloads.html 下载最新安装包 第二步: 解压 tar xvf kafka_2.12-2.2.0.tgz 第三步: 检查服务器有没有安装zookeeper集群, 没有的话,自行百度补充 第四步:修改config/server.properties 文件 # Licensed to the Apache Software Foundation (AS