在Windows环境中安装并使用kafka

1. 安装部署Java

java -version

至于怎么windows怎么安装java,此处不再赘述

2. 安装zookeeper

下载zookeeper并解压,下载地址:http://zookeeper.apache.org/releases.html,
选择自己需要的版本
进入zookeeper设置目录,将zoo_sample.cfg重命名为:zoo.cfg
在编辑器中打开zoo.cfg,将dataDir的值改成自己的data目录(需要新建)
新建zookeeper系统变量ZOOKEEPER_HOME={zookeeper根目录路径},并把bin目录添加到系统的path变量中

打开新的cmd,输入zkserver,运行Zookeeper服务器,如果安装成功,启动的界面如下:

ZooKeeper JMX enabled by default
Using config: d:\workspace\software/zookeeper-3.4.12\bin\..\conf\zoo.cfg
Starting zookeeper ... STARTED

说明zookeeper已经安装成功并运行在2181端口。

具体请参见本人另外的博文《Windows安装和使用zookeeper

3.安装kafka
下载需要的软件并解压,下载地址:
http://kafka.apache.org/downloads.html
进入kafka安装目录的config目录,修改server.properties文件,如修改的地方如下:
把log.dirs改成自己的目录,一般在kafka安装目录下新建文件夹来存放日志文件
Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

4.运行kafka服务器
进入kafka安装目录,按下shift +右键,选择 "在此处打开命令窗口",输入如下命令并按回车

.\bin\windows\kafka-server-start.bat    .\config\server.properties

注意:kafka依赖zookeeper,需要事先启动zookeeper.

5. 使用kafka

5.1 创建主题
进入kafka安装目录的\bin\windows下按shift +右键,选择“在此处打开命令窗口”,输入如下命令并回车:

kafak-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test

5.2 创建producer 及consumer来测试服务器
在kafka安装目录的\bin\windows启动新的命令窗口,producer和consumer需要分别启动命令窗口。
启动producter,启动命令如下:

kafka-console-producer.bat  --broker-list localhost:9092  --topic test

启动consumer,启动命令如下:

kafka-console-consumer.bat  --zookeeper localhost:2181  --topic test

在producter窗口输入内容,如果在consumer窗口能看到内容,则说明kafka安装成功

6. kafka常用命令

#列出主题
kafka-topic.bat -list -zookeeper localhost:2181
#描述主题
kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]
#从头读取消息
kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning
#删除主题
kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181
#查看topic的详细信息
./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]
#为topic增加副本
./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute
#为topic增加partition
./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]
#下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60  shutdown broker 

原文地址:https://www.cnblogs.com/lenmom/p/10301428.html

时间: 2024-11-12 22:14:03

在Windows环境中安装并使用kafka的相关文章

Neo4j 第一篇:在Windows环境中安装Neo4j

图形数据库(Graph Database)是NoSQL数据库家族中特殊的存在,用于存储丰富的关系数据,Neo4j 是目前最流行的图形数据库,支持完整的事务,在属性图中,图是由顶点(Vertex),边(Edge)和属性(Property)组成的,顶点和边都可以设置属性,顶点也称作节点,边也称作关系,每个节点和关系都可以由一个或多个属性.Neo4j创建的图是用顶点和边构建一个有向图,其查询语言cypher已经成为事实上的标准. 关系型数据库只对单个Join操作进行优化查询,而多重Join操作查询的性

windows环境中安装pip

windows下安装PIP 当前环境(windows 7,python安装路径为c:\Python) 1.首先到官网下载(https://pypi.python.org/pypi/setuptools#downloads) 下载文件地址:https://bootstrap.pypa.io/ez_setup.py,并将其放入python安装目录(C:\Python) 2.打开cmd窗口 C:\Python>python.exe ez_setup.py ***如果出现报错***: UnicodeDe

MongoDB学习之 windows环境中安装

MongoDB的官方下载站是http://www.mongodb.org/downloads,可以去上面下载最新的程序下来. 在下载页面可以看到,对操作系统支持很全面,OS X.Linux.Windows.Solaris都支持,而且都有各自的32位和64位版本.目前的稳定版本是2.6.4版本. 注意: 1. MongoDB 2.6.4 Linux 版要求 glibc 必须是 2.5 以上,所以需要先确认操作系统的 glibc 的版本. 2. 在 32 位平台 MongoDB 不允许数据库文件(累

Maven(一)——如何在Windows操作系统中安装配置Maven环境

今天难得的周末,借此难的机会总结一下关于maven的一些操作: 1.在安装maven之前要确认计算机已经安装并配置了JDK: 2.下载maven: maven-3.0.3:http://download.csdn.net/detail/wangshuxuncom/7367413 maven-3.0.5:http://download.csdn.net/detail/wangshuxuncom/7551799 说明:上述资源均免费下载 这里选择maven-3.0.3来演示安装.将maven-3.0

在Windows系统中安装集成的PHP开发环境

原文:在Windows系统中安装集成的PHP开发环境 刚想学php的,又不会配置复杂php的环境,可以使用集成的,目前网上提供常用的PHP集成环境主要有AppServ.phpStudy.WAMP和XAMPP等软件,这些软件之间的差别不大.每种集成包都有多个不同的版本,可以下载版本比较高的任意一个集成软件安装使用. 我用的是appserv-win32-2.5.10.exe下载地址:http://www.appservnetwork.com/index.php?newlang=chinese App

如何在windows环境中搭建apache+subversion(ZT)

我一直有一个想法就是在本机上象scm一样的搭建一个subversion服务器,然后每天写完代码的时候提交一下,这种感觉好好哦,之前我在windows环境中搭建过纯subversion的服务器兴奋过一阵,可是慢慢觉得这样每次用file://的形式去访问subversion好原始哦.昨天我下定决心一定要把apache+subversion的环境搭建起来.nnd居然我从9:00~18:00才搞定这个.为什么弄了那么就呢其实就是因为subversion的服务器端的版本是1.5和客户端的是1.6.4版本,

在windows环境下安装redis和phpredis的扩展

在windows环境下安装redis和phpredis的扩展 1.首先配置php: 需要在windows的集成环境中找到php的扩展文件夹,ext,然后在网上寻找自己的php对应的.dll文件 比如说的我的phpinfo里面显示是Arti..:x86,所以需要选择X86,这个跟系统无关,我的系统还是64位的呢! 然后我的集成环境是ts而不是nts这个都可以在phpinfo文件中找到! 下载文件php_igbinary.dll,php_redis.dll 然后修改配置文件php.ini(php文件

在Windows环境下安装mod_dav

问题 如何在已行的1.3版本的Apachc服务器上安装mod_dav来启用WebDAV功能? 解决方法 Apache2.0版本把mod_dav作为一个标准的模块,因此你不需要下载及编译安装它. 从http://webdav.arg/nwd/win32获取Windows下的mod_dav包并解包.确认你的Apache服 务器是否在ServerRoot目录下安装了xmlparse.dll以及xmJtok.dll文件,如果这两个文件不存在, 则查找Apache整个目录并拷贝他们到ServerRoot下

解决windows环境中python2.7'ascii' codec can't encode character

在python2.7下,将字符串写入到文件时会出现"UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position"的错误,原因是由于python基于ASCII处理字符的,当出现不属于ASCII的字符时,会出现错误信息. 原因是pip安装python包会加载我的用户目录,我的用户目录恰好是中文的,ascii不能编码.解决办法是: python目录 Python27\Lib\site-package