(03)kafka多机多Broker(集群)的基本配置

  本文记录一下kafka多机多Broker(集群)的基本配置,在上篇的基础上进行,上篇配置在192.168.7.151上,本篇在152上。

一、在服务器192.168.7.152上配置两个Broker

  1、将151上的kafka远程拷贝到152上

[[email protected] local]# scp -r kafka_2.9.2-0.8.1.1/ [email protected]:/usr/local

  2、删除掉logs中的旧文件broker0、broker1,并且新建broker2、broker3

[[email protected] logs]# rm -rf broker0 broker1
[[email protected] logs]# mkdir broker2 broker3

  3、修改config中server.properties和server1.properties为server2.properties和server3.properties

[[email protected] config]# mv server.properties server2.properties
[[email protected] config]# mv server1.properties server3.properties

  4、修改server2.properties和server3.properties的配置信息

  [[email protected] config]# vim server2.properties

broker.id=2
log.dirs=/usr/local/kafka_2.9.2-0.8.1.1/logs/broker2

  [[email protected] config]# vim server3.properties

broker.id=3
log.dirs=/usr/local/kafka_2.9.2-0.8.1.1/logs/broker3

  5、启动两个broker

[[email protected] kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server2.properties &
[[email protected] kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server3.properties &

  6、用jps命令查看,已经启动成功!

 二、查看集群是否已经注册到zookeeper中

  1、连接zookeeper的任意客户端

[[email protected] kafka_2.9.2-0.8.1.1]# zkCli.sh

  2、查看到成功注册了4个broker,id分别是0、1、2、3

原文地址:https://www.cnblogs.com/javasl/p/12183001.html

时间: 2024-07-31 15:56:42

(03)kafka多机多Broker(集群)的基本配置的相关文章

ActiveMQ笔记(4):搭建Broker集群(cluster)

上一篇介绍了基于Networks of Borkers的2节点HA方案,这一篇继续来折腾Networks of Brokers,当应用规模日渐增长时,2节点的broker可能仍然抗不住访问压力,这时候就需要多加一些broker,弄一个更大规模的Broker集群,但是怎么合理设置broker之间的网络桥接,却是有讲究的,先来看一种不太好的设计: 这个架构看上去没瑕疵,没毛病,3个broker之间两两互通,整体可用性极高,但是从消息的路由角度来看,却不是一个好的设计,当producer向broker

KafKa集群安装、配置

一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.129   主机名:kafka01 192.168.145.130              kafka02 192.168.145.131              kafka03 4.本次安装版本:kafka_2.10-0.8.2.0 5.注意事项 ①:kafka依赖zookeeper集群. ②:集

Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新Client API的使用要点,高可用性测试,以及各种坑 (转载)

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器

Kafka集群安装和配置(二)

(一).环境介绍1.服务器的相关设置:1.kafka1:172.20.67.522.kafka2:172.20.67.563.kafka3:172.20.67.57 2.zookeeper所需的三个端口1.21812.28883.3888三个端口的作用:2181:对客户端提供服务2888:集群内机器通讯使用(Leader监听此端口)3888:选举leader使用 3.kafka 所需的端口9092:kafka所需的端口 (二).kafka集群的安装配置 (1).kafka1172.20.67.5

zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)

---恢复内容开始--- 使用kafka的zookeeper来搞集群的话和单纯用zk的其实差不了多少. 0.说在前头,搭建kafka集群之前请把每个服务器的jdk搞起来. 1.安装kafka wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 下载kafka然后放到你的目录下 解压 tar zxvf kafka_2.11-2.0.0.tgz 2.配置zk cd kafka_2.11-2.0.0/confi

MySQL数据库集群进行正确配置步骤

MySQL数据库集群进行正确配置步骤 2010-06-09 10:47 arrowcat 博客园 字号:T | T 我们今天是要和大家一起分享的是对MySQL数据库集群进行正确配置,我前两天在相关网站看见的资料,今天拿出来供大家分享. AD:51CTO 网+首届APP创新评选大赛火热启动——超百万资源等你拿! 此文章主要向大家讲述的是对MySQL数据库集群进行正确配置的实际操作步骤,以及对其概念的讲述,如果你对其相关的实际操作有兴趣了解的话,以下的文章将会给你提供相关的知识. 一.介绍 这篇文档

Storm 系列(三)Storm 集群部署和配置

Storm 系列(三)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群.相关的过程和主要的配置选项是 Storm 的运维人员需要重点关注的,对部署和配置选项不感兴趣的读者,可以跳过本章. 在开始 Storm 之旅前,我们先看一下 Storm 部署和配置的相关信息,并提交一个 Topology,了解 Storm 的基本原理.Storm 的部署模式包括单机和集群环境,同时在向 Storm 环境中提交 To

ActiveMQ + ZooKeeper 集群高可用配置

一. 准备条件: (1) 最好是有3台服务器[2台也行, 只是根据(replicas/2)+1 公式至少得2个ActiveMQ服务存在才能保证运行, 自己测试的时候麻烦点, 关掉其中一个, 再开启, 看会不会选举到另一个ActiveMQ服务, 多试几次可以看到效果] (2)  ActiveMQ安装参考: ActiveMQ (3)  ZooKeeper安装参考:ZooKeeper 二. 配置 : ActiveMQ根目录下的conf/activemq.xml, 原来默认如下: <persistenc

Hadoop集群配置心得(低配置集群+自动同步配置)

本文为本人原创,首发到炼数成金 http://f.dataguru.cn/thread-138720-1-1.html. 情况是这样的,我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群,相信很多人也跟我差不多,所以现在把我的低配置集群经验拿出来写一下好了. 我的配备:1)五六年前的赛扬单核处理器2G内存笔记本 2)公司给配的ThinkpadT420,i5双核处理器4G内存(可用内存只有3.4G,是因为装的是32位系统的缘故吧...) 就算是用公司配置的电脑,做出来三台1G内存的虚拟机也