Kafka分布式安装及验证测试

一、安装

Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。

(一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:

我选择的是Kafka0.9.0.1版本,如下:

(二)Kafka安装步骤

1、解压

执行tar命令,如下:

解压后目录如下:

其中,bin目录如下:

config目录如下:

2、修改参数配置

编辑config/server.properties文件,如下:

修改的参数包括:

2.1、ZooKeeper连接地址:zookeeper.connect

2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)

2.3、主机名:host.name

2.4、分区数目:num.partitions

2.5、日志地址:log.dirs

3、启动

执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &

4、停止

执行停止命令bin/kafka-server-stop.sh报错,如下:

所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:

先查找进程号

再直接kill

二、验证测试

进入kafka根目录

1、创建topic

bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create

2、查看topic

bin/kafka-topics.sh -zookeeper server3:2181 -list

其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion

3、创建producer

bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic

4、创建consumer

bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic

5、producer发布

6、consumer订阅

可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!

时间: 2024-11-06 15:15:07

Kafka分布式安装及验证测试的相关文章

简洁的kafka单节点和分布式安装文档

单节点安装: Ip:single:192.168.1.186 1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包 2.解压 [[email protected] cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/ 3.进入解压目录 [[email protected] kafka_2.10-0.8.2-beta]# cd config/ [[email prot

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式

Kafka的安装及测试

1.zokeeper的安装及配置 在zokeeper的conf目录下新建zoo.cfg文件,在里面配置如下内容 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending

Hbase分布式安装部署过程

系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述: 1. 配置hosts,确保涉及的主机名均可解析为ip 2. 编辑hbase-env.xml 3. 编辑hbase-site.xml 4. 编辑regionservers文件,文件默认内容是localhost /home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件 5. Hbase复制到其他节点 6. 启

Hadoop学习笔记_8_实施Hadoop集群 --分布式安装Hadoop

实施Hadoop集群 --分布式安装Hadoop 说明: 以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为: 192.168.139.129 master #NameNode/JobTrackerr结点 192.168.139.132 slave01 #DataNode/TaskTracker结点 192.168.139.137 slave02 #DataNode/TaskTracker结点 一.配置ssh实现Hadoop节点间用户的无密

Kafka分布式环境搭建 (二)赞

这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展.单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点. Kafka的中文文档并不多,所以我们尽量详细点儿写.要交会你搭建分布式其实很简单,手把手的教程大不了我录个视频就好了,可我觉得那不是走这条路的方 式.只有真正了解原理,并且理解的透彻了才能最大限度的发挥一个框架的作用.所以,如果你不了解什么事kafka,请先看:<ka

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

Zookeeper 初体验之——伪分布式安装(转)

原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目.Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等.Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统编程

二、Hadoop-2.6的完全分布式安装模式

一.Hadoop的3中运行模式 1.1.单机模式.安装简单,几乎不用作任何配置,但仅限于调试用途: 1.2.伪分布式模式.在单节点上同时启动namenode.secondary namenode.datanode.JobTracker.TaskTracker 5个进程,模拟分布式运行的各个节点. 1.3.完全分布式模式.正常的Hadoop集群,由多个节点构成. 二.Hadoop-2.6的完全分布式安装模式 2.0.准备文件 (1)Jdk1.7(或其他版本):jdk-7u79-linux-x64.