zookeeper+kafka配置

ZooKeeper

安装

#将ZooKeeper解压到/usr/local中

tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local

cd /usr/local

#重命名

sudo mv zookeeper-3.4.6 zookeeper

cd zookeeper/conf

sudo cp zoo_sample.cfg zoo.cfg

配置

1.在zoo.cfg中追加下面内容:

#server.n=ip:portA:portB

#n是server标识号(1~255)

#ip是serverip地址

#portA是与leader进行信息交换的端口

#portB是在leader宕机后,进行leader选举所用的端口

server.1=200.31.157.116:20881:30881

server.2=200.31.157.116:20882:30882

server.3=200.31.157.117:20881:30881

注:

配置文件信息解析:

tickTime:毫秒级的基本时间单位,其它时间如心跳/超时等都为该单位时间的整数倍。

initLimit:tickTime的倍数,表示leader选举结束后,followers与leader同步须要的时间,leader的数据许多或followers比較多时,该值应适当大一些。

syncLimit:tickTime的倍数,表示follower和observer与leader交互时的最大等待时间,是在与leader同步完成之后,正常请求转发或ping等消息交互时的超时时间。

clientPort:监听客户端连接的服务port,若一台服务器上安装多个ZooKeeper server,则须要设置不同的port号。

dataDir:内存数据库快照地址。事务日志地址(除非由dataLogDir另行指定)。

2.在$dataDir下新建文件myid。并写入server标识号

#/tmp/zookeeper为dataDir

cd /tmp/zookeeper/

sudo vim myid

#在myid中加入server标识号

启动停止

#进入$ZOOKEEPER_HOME,执行zkServer.sh

#启动

sudo bin/zkServer.sh start &

#停止

sudo bin/zkServer.sh stop

#查看状态

sudo bin/zkServer.sh status

Kafka

安装

tar –zxvf  kafka_2.10-0.8.2.1.tgz –C /usr/local/

cd /usr/local

#重命名

sudo mv kafka_2.10-0.8.2.1 kafka

cd kafka/conf

配置

在配置文件server.properties改动例如以下内容:

#broker.id是broker的标识。具有唯一性

broker.id=0

#port号默觉得9092

port=9092

#host.name位kafka所在机器的ip

host.name=200.31.157.116

#设置zookeeper,可连接多个zookeeperserver

zookeeper.connect=200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182

启动停止

#进入$KAFKA_HOME

#启动

sudo bin/kafka-server-start.sh config/server.properties &

#停止

bin/kafka-server-stop.sh

生产/消费消息

#创建topic

bin/kafka-topics.sh --create --zookeeper 200.31.157.116:2182 --replication-factor 1 --partitions 1 --topic test

#生产消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

#消费消息

bin/kafka-console-consumer.sh –zookeeper 200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182 --topic test --from-beginning

时间: 2024-12-09 17:50:15

zookeeper+kafka配置的相关文章

zookeeper+kafka集群安装之一

zookeeper+kafka集群安装之一 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts ... # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 192.168.8.184 zk3 2) 每台机器上安装jdk, zookeeper, kafka, 配置如下: $ vi /etc/profile ... # jdk, zookeeper, kafka export KA

Kafka配置入门

在进行如下配置前,首先要启动Zookeeper. 配置单机kafka 1.进入kafka解压目录 2.启动kafka bin\windows\kafka-server-start config\server.properties 3.创建Topic和查看机器上topic bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1

zookeeper+kafka集群安装之二

zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装参考: http://blog.csdn.net/ubuntu64fan/article/details/26678877 首先了解几个kafka中的概念: kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为consumer; 通常我们部署多个b

Zookeeper+Kafka集群部署

Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kafka+ZooKeeper 软件下载地址: #wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz #wget http://mirror.bit.edu.cn/apache/

window环境搭建zookeeper,kafka集群

为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka. 前期准备说明: 1.三台zookeeper服务器,本机安装一个作为server1,虚拟机安装两个(单IP) 2.三台kafka服务器,本机安装一个作为server1,虚拟机安装两个. 备注:当然你可以直接在虚拟机上安装三个服务器分别为server1.server2.server3 . 虚拟机和本机网络环

elk6.3.1+zookeeper+kafka+filebeat收集dockerswarm容器日志

前面有说过使用redis来缓解elk的数据接受压力,但是呢,如果redis面对突发情况也会承受不住的,这里需要借助两个工具,zookeeper和kafka Zookeeper主要值借助分布式锁,保证事务的不变,原子性隔离性... Kafka消息队列,从生产这到filebeta再到消费这logstash接受到es中,起到缓存,减缓压力 来吧开始往上怼了 首先下载zookeeper和卡夫卡 wget http://mirrors.hust.edu.cn/apache/zookeeper/zookee

Centos7安装zookeeper+kafka集群

Centos7安装zookeeper+kafka集群 1  Zookeeper和kafka简介 1)  ZooKeeper 是一个分布式的.分层级的文件系统,能促进客户端间的松耦合,并提供最终一致的,用于管理.协调Kafka代理,zookeeper集群中一台服务器作为Leader,其它作为Follower 2)  Apache Kafka 是分布式发布-订阅消息系统,kafka对消息保存时根据Topic进行归类,每个topic将被分成多个partition(区),每条消息在文件中的位置称为off

zookeeper+kafka

准备三台主机 192.168.233.167 master 192.168.233.168 slave1 192.168.233.169 slave2 下载jdk,zookeeper,kafka,并解压到opt下重命名 tar xf jdk-8u181-linux-x64.tar.gz -C /opt/ tar xf zookeeper-3.4.9.tar.gz -C /opt/ tar xf kafka_2.11-0.10.2.1.tar.gz -C /opt/ mv jdk1.8.0_181

基于cdh的Kafka配置及部署(详细,成功运行)

一.下载 http://archive.cloudera.com/kafka/parcels/2.2.0/ wget http://archive.cloudera.com/kafka/parcels/2.2.0/KAFKA-2.2.0-1.2.2.0.p0.68-el6.parcel wget http://archive.cloudera.com/kafka/parcels/2.2.0/KAFKA-2.2.0-1.2.2.0.p0.68-el6.parcel.sha1 二.校验 [[emai