kafka 集群部署 多机多broker模式

环境IP :

172.16.1.35   zookeeper   kafka

172.16.1.36   zookeeper   kafka

172.16.1.37   zookeeper   kafka

开放端口  2181  2888  3888   9092

编辑  server.properties  文件  (以下为 172.16.1.35 的配置)

#在默认的配置上,我只修改了4个地方。broker.id = 三个主机172.16.1.35,172.16.1.36,172.16.1.37分别对应id为1,2,3

broker.id=1

advertised.host.name=172.16.1.35   配置为连接IP 否则会获取本地网卡IP

log.dirs=/opt/local/kafka/logs

zookeeper.connect=172.16.1.35:2181,172.16.1.36:2181,172.16.1.37:2181

---------------------------------------------------------------------

非物理网卡,绑定IP 需要配置为 127.0.0.1 , 否则获取到的IP为 其他绑定IP

如:zookeeper.connect=127.0.0.1:2181,172.16.1.36:2181,172.16.1.37:2181

编辑  zookeeper.properties  文件

initLimit=5

syncLimit=2

server.1=0.0.0.0:2888:3888

server.2=172.16.1.36:2888:3888

server.3=172.16.1.37:2888:3888

dataDir=/tmp/zookeeper

---------------------------------------------------------------------

非物理网卡,绑定IP 需要配置为 0.0.0.0 , 否则获取到的IP为 其他绑定IP

如果

broker.id=1

-------------------------------------

server.1=0.0.0.0:2888:3888

server.2=172.16.1.36:2888:3888

server.3=172.16.1.37:2888:3888

-------------------------------------

broker.id=2

-------------------------------------

server.1=172.16.1.35:2888:3888

server.2=0.0.0.0:2888:3888

server.3=172.16.1.37:2888:3888

-------------------------------------

# initLimit:LF初始通信时限

集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。

# syncLimit:LF同步通信时限

集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。

# server.N=YYY:A:B

服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)

#分别将1,2,3写入三个主机的myid文件

echo "1" >> /opt/local/kafka/logs/zookeeper/myid

# 分别启动三个服务器中的 zookeeper 和 kafka server

/opt/local/kafka/bin/zookeeper-server-start.sh -daemon /opt/local/kafka/config/zookeeper.properties

/opt/local/kafka/bin/kafka-server-start.sh -daemon /opt/local/kafka/config/server.properties

时间: 2024-07-29 12:51:14

kafka 集群部署 多机多broker模式的相关文章

大数据技术之_10_Kafka学习_Kafka概述+Kafka集群部署+Kafka工作流程分析+Kafka API实战+Kafka Producer拦截器+Kafka Streams

第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka 生产过程分析3.1.1 写入方式3.1.2 分区(Partition)3.1.3 副本(Replication)3.1.4 写入流程3.2 Broker 保存消息3.2.1 存储方式3.2.2 存储策

Zookeeper+Kafka集群部署

Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kafka+ZooKeeper 软件下载地址: #wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz #wget http://mirror.bit.edu.cn/apache/

3、Kafka集群部署

Kafka集群部署 1)解压安装包 [ip101]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/app/ 2)修改解压后的文件名称 [ip101]$ mv kafka_2.11-0.11.0.0/ kafka 3)在/opt/app/kafka目录下创建logs文件夹 [ip101]$ mkdir logs 4)修改配置文件 [ip101]$ cd config/ [[email protected] config]$ vi server.propert

Kafka集群部署

一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案.Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费. 关于Kafka的

Kafka集群部署及測试

题记 眼下我们对大数据进行研究方向以Spark为主,当中Spark Streaming是能够接收动态数据流并进行处理.那么Spark Streaming支持多源的数据发送端,比如TCP.ZeroMQ.自然也包含Kafka,并且Kafka+SparkStreaming的技术融合也比較经常使用并且成熟,所以我们须要搭建一个Kafka集群进行流数据的測试. -------------------------------------------------------------------------

4 kafka集群部署及生产者java客户端编程 + kafka消费者java客户端编程

本博文的主要内容有   kafka的单机模式部署 kafka的分布式模式部署 生产者java客户端编程 消费者java客户端编程 运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper. 单机模式,用的是kafka自带的zookeeper, 分布式模式,用的是外部安装的zookeeper,即公共的zookeeper. Step 6: Setting up a multi-broker cluster So far w

kafka集群部署文档(转载)

原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这

kafka集群部署步骤

参考: kafka 集群--3个broker 3个zookeeper创建实战 细细品味Kafka_Kafka简介及安装_V1.3http://www.docin.com/p-1291437890.html 一. 准备工作: 1. 准备3台机器,IP地址分别为:192.168.3.230(233,234) 2. 下载kafka稳定版本,我的版本为:Scala 2.11  - kafka_2.11-0.9.0.0.tgz http://kafka.apache.org/downloads.html

Kafka 集群部署

kafka是一个分布式消息队列,需要依赖ZooKeeper,请先安装好zk集群 kafka安装包解压 $ tar xf kafka_2.10-0.9.0.1.tgz $ mv kafka_2.10-0.9.0.1 /usr/kafka $ cd /usr/kafka 配置文件 server.properties # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 # Z