Linux下kafka集群的搭建

上一篇日志已经搭建好了zookeeper集群,详细请查看:http://www.cnblogs.com/lianliang/p/6533670.html,接下来继续搭建kafka的集群

1、首先下载kafka的gz包:http://kafka.apache.org/downloads

解压到/opt/soft/kafka/目录下,解压之后并创建文件夹logs,用于存在kafka的日志文件

进入到kafka/config的目录下,修改配置文件,vim  server.properties,需要修改的配置是:

#每台服务器的broker.id都不能相同

broker.id=0

#在log.retention.hours=168 后新增下面三项

message.max.byte=5242880

default.replication.factor=1

replica.fetch.max.bytes=5242880

#设置zookeeper的连接端口

zookeeper.connect=master:2181,slave1:2181

#日志文件的目录,设置成刚刚创建的logs目录

log.dirs=/opt/soft/kafka/logs/

注意:salve1中的broker.id为1

修改完成之后保存,退出

2、启动kafka集群:

执行启动命令:kafka_2.11-0.10.1.1/bin/kafka-server-start.sh -daemon kafka_2.11-0.10.1.1/config/server.properties

然后执行命令:JPS,如果打印

5709  Kafka
2850  QuorumPeerMain
6056  Jps

说明kafka启动成功

3、接下来测试能否生产和消费消息

创建一个topic:bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic lian

查看topic:bin/kafka-topics.sh --list --zookeeper master:2181,如果能查看刚创建的topic说明创建topic成功

打开生产者客户端:bin/kafka-console-producer.sh --broker-list master:9092 --topic lian

在控制台中随便输入一行数据:This is a message

到slave1机器上打开一个消费者客户端:bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic lian --from-beginning

如果能收到刚刚输入的字符串:This is a message,说明集群搭建成功!

时间: 2024-10-12 21:28:21

Linux下kafka集群的搭建的相关文章

Linux下kafka集群搭建过程记录

环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列,所以需要有zookeeper单机或者集群环境. 三台服务器: 172.16.18.198 k8s-n1 172.16.18.199 k8s-n2 172.16.18.200 k8s-n3 下载kafka安装包 http://kafka.apache.org/downloads 中下载,目前最新版本的kafka已经到2.2.0,我这里之前下载的是kafka_2.11-2.2.0.tgz. 安装ka

Ubuntu下kafka集群环境搭建及测试

1,解压 [email protected]1:/usr/local# tar zxvf kafka_2.11-0.8.2.2.tgz 2,重命名 [email protected]1:/usr/local# mv /usr/local/kafka_2.11-0.8.2.2 /usr/local/kafka 3,起zookeeper集群到指定后台文件(不占用页面) [email protected]1:/usr/local/kafka# bin/zookeeper-server-start.sh

【redis】 linux 下redis 集群环境搭建

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 1:下载redis.官网下载3.0.0版本,之前2.几的版本不支持集群模式 下载地址:https://github.com

kafka 集群环境搭建 java

简单记录下kafka集群环境搭建过程, 用来做备忘录 安装 第一步: 点击官网下载地址 http://kafka.apache.org/downloads.html 下载最新安装包 第二步: 解压 tar xvf kafka_2.12-2.2.0.tgz 第三步: 检查服务器有没有安装zookeeper集群, 没有的话,自行百度补充 第四步:修改config/server.properties 文件 # Licensed to the Apache Software Foundation (AS

Linux环境下HDFS集群环境搭建关键步骤

Linux环境下HDFS集群环境搭建关键步骤记录. 介质版本:hadoop-2.7.3.tar.gz 节点数量:3节点. 一.下载安装介质 官网下载地址:http://hadoop.apache.org/releases.html 二.服务器规划 MASTER:NAMENODE, DATANODENODE1:DATANODENODE2:SECONDARY NAMENODE, DATANODE 三.配置hostname和hosts 192.168.13.4 master192.168.13.5 n

Linux环境下SolrCloud集群环境搭建关键步骤

Linux环境下SolrCloud集群环境搭建关键步骤. 前提条件:已经完成ZooKeeper集群环境搭建. 一.下载介质 官网下载地址:http://www.apache.org/dyn/closer.lua/lucene/solr/7.3.1 历史版本下载:http://archive.apache.org/dist/lucene/solr/ 二.上传介质 通过工具将下载好的安装介质上传至服务器目录. 三.解压安装 解压即可完成安装. unzip solr-5.5.5.zip 四.修改配置文

Kafka集群环境搭建

Kafka介绍 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算. KAFKA + STORM +REDIS 1.Apache Kafka是一个开源消息系统,用Scala写成. 2.Kafka是一个分布式消息队列:生产者.消费者的功能.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现. 3.Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接收者成为Consumer,此外Kafka集群由多个Ka

完全分布式ZooKeeper集群和Kafka集群的搭建和使用

自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz.首先要安装JDK(jdk-7u9-linux-i586.tar.gz)和SSH,IP地址的分配为Kafka1(192.168.56.136),Kafka2(192.168.56.137),Kafka3(192.168.56.138).下面主要介绍SSH的安装,ZooKeeper和Kafka集群的搭建和使用. 一. SSH的安装 (1)apt-get install ssh (2)/etc/

Linux下Elasticsearch集群配置

一.简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 二.集群安装 1.选择指定的版本下载 wget https://download.elastic.co/elasticsearch/release/org/elas