上一篇日志已经搭建好了zookeeper集群,详细请查看:http://www.cnblogs.com/lianliang/p/6533670.html,接下来继续搭建kafka的集群
1、首先下载kafka的gz包:http://kafka.apache.org/downloads
解压到/opt/soft/kafka/目录下,解压之后并创建文件夹logs,用于存在kafka的日志文件
进入到kafka/config的目录下,修改配置文件,vim server.properties,需要修改的配置是:
#每台服务器的broker.id都不能相同
broker.id=0
#在log.retention.hours=168 后新增下面三项
message.max.byte=5242880
default.replication.factor=1
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=master:2181,slave1:2181
#日志文件的目录,设置成刚刚创建的logs目录
log.dirs=/opt/soft/kafka/logs/
注意:salve1中的broker.id为1
修改完成之后保存,退出
2、启动kafka集群:
执行启动命令:kafka_2.11-0.10.1.1/bin/kafka-server-start.sh -daemon kafka_2.11-0.10.1.1/config/server.properties
然后执行命令:JPS,如果打印
5709 Kafka
2850 QuorumPeerMain
6056 Jps
说明kafka启动成功
3、接下来测试能否生产和消费消息
创建一个topic:bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic lian
查看topic:bin/kafka-topics.sh --list --zookeeper master:2181,如果能查看刚创建的topic说明创建topic成功
打开生产者客户端:bin/kafka-console-producer.sh --broker-list master:9092 --topic lian
在控制台中随便输入一行数据:This is a message
到slave1机器上打开一个消费者客户端:bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic lian --from-beginning
如果能收到刚刚输入的字符串:This is a message,说明集群搭建成功!