kafka环境搭建2-broker集群+zookeeper集群(转)

原文地址:http://www.jianshu.com/p/dc4770fc34b6

zookeeper集群搭建

kafka是通过zookeeper来管理集群。
kafka软件包内虽然包括了一个简版的zookeeper,但是感觉功能有限。在生产环境下,建议还是直接下载官方zookeeper软件。

  • 下载 最新版的zookeeper软件
    wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
  • 解压,并把解压后的文件移动到/var/zookeeper下,重命名为zookeeper00
    tar -xzf zookeeper-3.4.8.tar.gz
    mv zookeeper-3.4.8 /var/zookeeper/
    cd /var/zookeeper/
    mv zookeeper-3.4.8 zookeeper00
  • 进入/var/zookeeper/zookeeper00/conf目录下,将zoo_sample.cfg修改为zoo.cfg(因为zookeeper启动时默认读的配置文件就叫zoo.cfg)
    cd /var/zookeeper/zookeeper00/conf
    mv zoo_sample.cfg zoo.cfg
  • zookeeper配置文件修改
    tickTime=2000 #心跳时间,单位:毫秒
    initLimit=10 #Follower在启动时需要在10个心跳时间内从Leader同步数据
    syncLimit=5 #超过5个心跳时间收不到Follower的响应,就认为此Follower已经下线
    dataDir=/zyxx_data/zookeeper/data00 #zookeeper存储数据的目录
    clientPort=2181 #zookeeper服务端口
    server.0=192.168.6.56:20881:30881
    server.1=192.168.6.56:20882:30882
    server.2=192.168.6.56:20883:30883
    • server.0、server.1、server.2 是指整个zookeeper集群内的节点列表。server的配置规则为:server.N=YYY:A:B
    • N表示服务器编号
    • YYY表示服务器的IP地址
    • A为LF通信端口,表示该服务器与集群中的leader交换的信息的端口。
    • B为选举端口,表示选举新leader时服务器间相互通信的端口(当leader挂掉时,其余服务器会相互通信,选择出新的leader)
    • 一般来说,集群中每个服务器的A端口都是一样,每个服务器的B端口也是一样。但是当所采用的为伪集群时,IP地址都一样,只能是A端口和B端口不一样。
  • zookeeper多节点配置

    通过以上配置,一个zookeeper节点就做好了,下面配置多个节点,我们把zookeeper根目录zookeeper00拷贝多份并重命名

    cp -a zookeeper00/ zookeeper01
    cp -a zookeeper00/ zookeeper02

    针对zookeeper01/conf/zoo.cfg和zookeeper02/conf/zoo.cfg,同样需要修改上面几个地方。修改后参数具体如下(由于是在同一台机器上模拟集群,所以dataDir、clientPort不能一样)
    zookeeper01/conf/zoo.cfg

    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/zyxx_data/zookeeper/data01
    clientPort=2182
    server.0=192.168.6.56:20881:30881
    server.1=192.168.6.56:20882:30882
    server.2=192.168.6.56:20883:30883

    zookeeper02/conf/zoo.cfg

    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/zyxx_data/zookeeper/data02
    clientPort=2183
    server.0=192.168.6.56:20881:30881
    server.1=192.168.6.56:20882:30882
    server.2=192.168.6.56:20883:30883
  • zookeeper数据目录创建

    zookeeper三个节点对应的数据目录分别为

    /zyxx_data/zookeeper/data00
    /zyxx_data/zookeeper/data01
    /zyxx_data/zookeeper/data02

    创建好对应的目录后,要分别在这三个目录下创建一个名为myid的文件,文件内容只有一个数字,代表zookeeper节点的唯一id,即要确保此id在集群内唯一,且要跟配置文件中的server.0、server.1、server.2 对应上。

kafka broker集群搭建

  • kafka 下载、解压
    wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
    tar -xzf kafka_2.11-0.9.0.0.tgz
  • kafka broker配置文件修改

    修改kafka根目录下的config/server.properties

    broker.id=0 #整个集群内唯一id号,整数,一般从0开始
    listeners=PLAINTEXT://192.168.6.56:9092 #协议、当前broker机器ip、端口,此值可以配置多个,应该跟SSL等有关系,更多用法尚未弄懂,这里修改为ip和端口。
    port=9092 #broker端口
    host.name=192.168.6.56 #broker 机器ip
    log.dirs=/zyxx_data/kafka-logs/kafka00 #kafka存储数据的目录
    zookeeper.connect=192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183 #zookeeper 集群列表
  • kafka broker多节点配置

    kafka多节点配置,可以像zookeeper一样把软件目录copy多份,修改各自的配置文件。这里介绍另外一种方式:同一个软件目录程序,但使用不同的配置文件启动

    使用不同的配置文件启动多个broker节点,这种方式只适合一台机器下的伪集群搭建,在多台机器的真正集群就没有意义了

  • 把kafka根目录下的config/server.properties copy两份,名称分别修改为:server-1.properties 、server-2.properties。各自修改他们的配置如下:

    config/server-1.properties

    broker.id=1
    listeners=PLAINTEXT://192.168.6.56:9093
    port=9093
    host.name=192.168.6.56
    log.dirs=/zyxx_data/kafka-logs/kafka01
    zookeeper.connect=192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183

    config/server-2.properties

    broker.id=2
    listeners=PLAINTEXT://192.168.6.56:9094
    port=9094
    host.name=192.168.6.56
    log.dirs=/zyxx_data/kafka-logs/kafka02
    zookeeper.connect=192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183

集群启动

  • zookeeper集群启动

    进入到/var/zookeeper/目录,执行

    zookeeper00/bin/zkServer.sh start
    zookeeper01/bin/zkServer.sh start
    zookeeper02/bin/zkServer.sh start

    我们可以通过以下命令查看zookeeper是否已启动

    ps -ef | grep zoo.cfg

    查看zookeeper进程信息

  • kafka 集群启动

    进入到kafka目录,执行

    bin/kafka-server-start.sh -daemon config/server.properties
    bin/kafka-server-start.sh -daemon config/server-1.properties
    bin/kafka-server-start.sh -daemon config/server-2.properties

    "-daemon" 参数代表以守护进程的方式启动kafka server。
    官网及网上大多给的启动命令是没有"-daemon"参数,如:“bin/kafka-server-start.sh config/server.properties &”,但是这种方式启动后,如果用户退出的ssh连接,进程就有可能结束,具体不清楚为什么。

    我们可以通过以下命令查看kafka server是否已启动

    ps -ef | grep config/server

    查看kafka server进程信息

测试

为了简单起见,这里通过命令行的方式启动生产者和消费者进行测试。

  • 创建主题

    进入到kafka目录,创建“test5”topic主题:分区为3、备份为3的

    bin/kafka-topics.sh --create --zookeeper 192.168.6.56:2181,192.168.6.56:2182,192.168.6.56:2183 --replication-factor 3 --partitions 3 --topic test5

    --zookeeper : zookeeper集群列表,用英文逗号分隔。可以不用指定zookeeper整个集群内的节点列表,只指定某个或某几个zookeeper节点列表也是你可以的
    replication-factor复制数目,提供failover机制;1代表只在一个broker上有数据记录,一般值都大于1,代表一份数据会自动同步到其他的多个broker,防止某个broker宕机后数据丢失。
    partitions一个topic可以被切分成多个partitions,一个消费者可以消费多个partitions,但一个partitions只能被一个消费者消费,所以增加partitions可以增加消费者的吞吐量。kafka只保证一个partitions内的消息是有序的,多个一个partitions之间的数据是无序的。

    查看"test5"主题详情

    bin/kafka-topics.sh --describe --zookeeper  192.168.6.56:2181 --topic test5

    test5 topic详情

  • 启动生产者、消费者

    启动生产者

    bin/kafka-console-producer.sh --broker-list 192.168.6.56:9092 --topic test5

    --broker-list : 值可以为broker集群中的一个或多个节点

    启动消费者(在新的ssh连接窗口)

    bin/kafka-console-consumer.sh --zookeeper 192.168.6.56:2181 --topic test5 --from-beginning

    --zookeeper : 值可以为zookeeper集群中的一个或多个节点

    我们可以发现,在生产者下输入一个消息,回车后可以在消费者下输出,说明我们集群搭建的没问题

    生产者和消费者

  • 模拟kafka broker集群某个节点宕机

    我们直接通过kill 进程来模拟

    再观察 生产者和消费者

    某个broker节点宕机后的生产者消费者

    我们可以发现,消费者出现了警告信息,但是依旧可以消费数据。

  • 模拟zookeeper集群某个节点宕机

    我们直接通过kill 进程来模拟

    再观察 生产者和消费者

    某个zookeeper节点宕机后的生产者和消费

    我们可以发现,消费者依旧可以消费数据。
    这就说明我们整个集群环境的搭建已经成功。

    注意一点,你启动消费者时在命令中只指定了一个zookeeper节点,且模拟zookeeper某个节点宕机时,你kill掉的正好又是这个节点。这种情况下你的消费者会不停的报警告信息,但是不影响消费信息。

文/heichong(简书作者)
原文链接:http://www.jianshu.com/p/dc4770fc34b6
著作权归作者所有,转载请联系作者获得授权,并标注“简书作者”。

时间: 2024-08-05 07:59:16

kafka环境搭建2-broker集群+zookeeper集群(转)的相关文章

kafka环境搭建二---Windows客户端Linux服务器

一.对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试 服务器端IP :10.0.30.221 运行环境的目录如下: 需要改动config文件夹下的server.properties中的以下两个属性 zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181 以及默认注释掉的 #host.name=localhost改成host.name=10.0.30.221 host.name不更改会造成客户端报

Kafka 环境搭建

基础环境 CentOS-7-x86_64-DVD-1908 1.安装配置jdk下载安装包并解压配置环境变量jdk-8u231-linux-x64.tar.gz配置环境变量修改文件vi /etc/profile尾部添加export JAVA_HOME=/gcl/jdk1.8.0_231export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/

kafka环境搭建测试

一.安装 1. 下载:去kafka官网下载:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz 2. 解压:tar -xzf kafka_2.11-0.9.0.1.tgz 3. 修改配置文件: 3.1 server.properties: host.name=l92.168.242.131 (将localhost改为实际的IP地址) advertised.host.name=l92.16

windows10下Kafka环境搭建

Zookeeper:1) 建议下载稳定版. 下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 2)    下载后解压到一个目录:eg: D:\Java\Tool\zookeeper-3.4.10 3)    在zookeeper-3.4.10目录下,新建文件夹,并命名(eg: data).(路径为:D:\Java\Tool\zookeeper-3.4.10\conf\data) 4)    进入Zookeeper设置目录,eg: D:\Java\

ZooKeeper1 利用虚拟机搭建自己的ZooKeeper集群

前言:       前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起到协调服务的作用,所以利用周末休息时间,自己在虚拟机上简单搭建了一个ZooKeeper集群,学习了解一下. ===============================================================长长的分割线===========================

构建高可用ZooKeeper集群

ZooKeeper 是 Apache 的一个顶级项目,为分布式应用提供高效.高可用的分布式协调服务,提供了诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知和分布式锁等分布式基础服务.由于 ZooKeeper 便捷的使用方式.卓越的性能和良好的稳定性,被广泛地应用于诸如 Hadoop.HBase.Kafka 和 Dubbo 等大型分布式系统中. 本文的目标读者是对 ZooKeeper 有一定了解的技术人员,将从 ZooKeeper 运行模式.集群组成.容灾和水平扩容四方面逐步深入,最终构建

构建高可用ZooKeeper集群(转载)

ZooKeeper 是 Apache 的一个顶级项目,为分布式应用提供高效.高可用的分布式协调服务,提供了诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知和分布式锁等分布式基础服务.由于 ZooKeeper 便捷的使用方式.卓越的性能和良好的稳定性,被广泛地应用于诸如 Hadoop.HBase.Kafka 和 Dubbo 等大型分布式系统中. 本文的目标读者是对 ZooKeeper 有一定了解的技术人员,将从 ZooKeeper 运行模式.集群组成.容灾和水平扩容四方面逐步深入,最终构建

P7架构师带你构建高可用ZooKeeper集群

前言: ZooKeeper 是 Apache 的一个顶级项目,为分布式应用提供高效.高可用的分布式协调服务,提供了诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知和分布式锁等分布式基础服务.由于 ZooKeeper 便捷的使用方式.卓越的性能和良好的稳定性,被广泛地应用于诸如 Hadoop.HBase.Kafka 和 Dubbo 等大型分布式系统中. 本文的目标读者是对 ZooKeeper 有一定了解的技术人员,将从 ZooKeeper 运行模式.集群组成.容灾和水平扩容四方面逐步深入,

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.